Десять пунктов на этом сайте — не игры. С вами никто не играет: машина держит линейку и записывает число. Здесь собрано, чего эти числа обычно стоят — где проходит человеческий потолок, где машинный и кто их установил.
Потолки ниже — не рекорды. Рекорд — это то, что однажды показал один тренированный человек; здесь величины, которые даёт обычный взрослый в тихой комнате, и почти все они взяты из опубликованных работ, а не с этого сайта. Где число наше — так и сказано. У каждой цифры стоит имя того, кто её получил: цифра без имени — это мнение, переодетое в измерение.
| Способность | Предел человека | Предел машины | Тест на сайте |
|---|---|---|---|
| Простая реакция на свет | медиана ~250 мсв лаборатории простая зрительная реакция — 190–200 мс: Woodworth и Schlosberg, «Experimental Psychology», 1954. ~250 мс — замер этого сайта, разница почти вся аппаратная | меньше 1 мстаймер браузера; разрешение — доли миллисекунды | Реакция |
| Зрительная память на позиции | удерживает 5–9 чиселэто объём с репетицией и группировкой (Miller, Psychological Review 63(2), 1956). Если то и другое заблокировать, остаётся около четырёх: Cowan, Behavioral and Brain Sciences 24(1), 2001 | предела нетмассив в памяти; стоимость чтения элемента не зависит от их числа | Тест шимпанзе |
| Арифметика в уме | ~15 примеров в минутузамер этого сайта на простых примерах; у чемпионов по устному счёту порядок другой, и это тренировка, а не потолок вида | миллиарды операций в секундуядро на 3 ГГц: такт около 0,3 нс, сложений за такт — несколько | Устный счёт |
| Мгновенная оценка количества | точно до 4, дальше ±15%Jevons, Nature 3, 1871; форма кривой — Mandler и Shebo, JEP: General 111(1), 1982; вебер-фракция взрослого 0,11–0,15 — Halberda и Feigenson, Developmental Psychology 44(5), 2008 | точно при любом числеподсчёт объектов — линейный проход по изображению | Счёт точек |
| Обновление рабочей памяти | 2–3 назадна 4-back нетренированные близки к угадыванию: Kane и др., JEP: LMC 33(3), 2007; до n=4–5 участников доводили девятнадцатью днями ежедневной практики — Jaeggi и др., PNAS 105(19), 2008 | любое nочередь фиксированной длины; n не влияет на стоимость сравнения | N-back |
| Подавление автоматического чтения | конфликт стоит ~100 мспоштучная интерференция относительно контроля XXXX — от 35 до 180 мс, обычно 70–130: MacLeod, Psychological Bulletin 109(2), 1991. У самого Струпа (Journal of Experimental Psychology 18(6), 1935) карточный вариант: 110,3 секунды против 63,3 на сотню проб, то есть +74%, или около 470 мс на пробу | эффекта не существуету программы нет чтения, которое включилось бы само и потребовало подавления | Тест Струпа |
| Зрительный поиск | плоско, или +18 мс на объектпоиск по одному признаку даёт наклон около нуля, поиск по конъюнкции — десятки мс на объект: Treisman и Gelade, Cognitive Psychology 12(1), 1980; распределение наклонов — Wolfe, Psychological Science 9(1), 1998 | линейно, за микросекундыперебор пикселей: наклон тоже линейный, но шаг мельче человеческого в тысячи раз | Найдите цель |
| Порождение случайной последовательности | не выходит: ряд предсказуемрелейная машина Хагельбаргера угадала 5218 нажатий из 9795, то есть 53% там, где монетка дала бы 50%: Hagelbarger, IRE Transactions on Electronic Computers EC-5(1), 1956 | таблица на 3–7 ходовShannon, «A Mind-Reading (?) Machine», меморандум Bell Labs, 1953; современный вариант — несколько десятков строк кода | Угадайка |
| Различение машинного текста | на уровне случая, около 50%нетренированные читатели на текстах GPT-3: Clark и др., ACL, 2021; то же на самоописаниях — Jakesch и др., PNAS 120(11), 2023 | она эти тексты и пишетавтоматические детекторы ненадёжны и смещены против пишущих на неродном языке: Liang и др., Patterns 4(7), 2023 | Найдите машину |
| Чтение искажённых изображений | ~75% верных на образцах reCAPTCHAи трое независимых людей сходятся в ответе лишь в 71% случаев: Bursztein и др., IEEE Symposium on Security and Privacy, 2010 | от единиц до 77% в зависимости от схемыпорождающая атака на текстовые капчи: Ye и др., ACM CCS, 2018 | Капча наоборот |
Все цитируют Миллера: семь плюс-минус два, из работы 1956 года, которая сама называет это число магическим. Миллер описывал объём цифрового ряда, а цифровой ряд можно проговаривать про себя, разбивать на группы и опирать на давно выученные названия чисел. Мерится не ёмкость, а ёмкость вместе со всеми приёмами её растягивания. Коуэн в обзоре 2001 года собрал опыты, где приёмы заблокированы — репетиция подавлена, группировка невозможна, объекты подаются быстрее, чем их можно назвать, — и объём падает примерно до четырёх, с разбросом в единицу в обе стороны. Четыре — это сырая величина, семь — четыре плюс приёмы. Ни одно из чисел не ошибочно, и вся суть в расстоянии между ними. Практический смысл разницы простой: если материал можно проговорить и разбить на осмысленные куски, вы работаете ближе к семи; если нельзя — ближе к четырём, и никакое старание этого не сдвигает.
G. Miller, Psychological Review 63(2), 1956; N. Cowan, Behavioral and Brain Sciences 24(1), 2001.Бросьте на стол горсть бобов и взгляните: при одном, двух, трёх и четырёх вы просто знаете сколько — почти за одно и то же время и почти без ошибок. Джевонс установил это на себе в 1871 году, бросая бобы в коробку, а форму кривой измерили Мандлер и Шебо в 1982-м: до четырёх время ответа растёт на 40–100 мс на объект, дальше скачком до двух-трёх сотен миллисекунд на объект — это и есть цена настоящего пересчёта. За пределом мгновенного схватывания вы перестаёте считать и начинаете оценивать, а оценка подчиняется закону Вебера: ошибка растёт пропорционально числу. У взрослого коэффициент держится около 0,11–0,15 — отсюда и наши «точно до четырёх, дальше примерно пятнадцать процентов». Граница между двумя режимами видна не столько в правильности ответа, сколько во времени: до четырёх оно почти не растёт, после — растёт заметно и ровно.
W. S. Jevons, Nature 3, 1871; G. Mandler, B. Shebo, JEP: General 111(1), 1982; J. Halberda, L. Feigenson, Developmental Psychology 44(5), 2008.Простая зрительная реакция в лаборатории — около 190–200 мс, на этом сайте медиана ближе к 250. Ни то, ни другое не мера мышления. Преобразование света в сигнал в сетчатке стоит десятков миллисекунд ещё до того, как что-то покинет глаз; до первичной зрительной коры сигнал доходит за 60–70 мс; мышце после команды нужно ещё 30–50 мс, чтобы развить усилие. На собственно решение остаётся небольшой остаток. Лишние пятьдесят миллисекунд на сайте — это оборудование: таймер в браузере, экран, обновляющийся шестьдесят раз в секунду и потому добавляющий до 16 мс сам по себе, и операционная система, занятая чем-то своим. У онлайн-платформ для экспериментов измеренная задержка составляет 30–100 мс. Поэтому «улучшить реакцию» на практике означает улучшить оборудование или заранее угадать момент сигнала, а не ускорить проведение по нерву: скорость проведения задана и вниманием не регулируется.
R. Woodworth, H. Schlosberg, «Experimental Psychology», 1954; M. Schmolesky и др., Journal of Neurophysiology 79(6), 1998; A. Anwyl-Irvine и др., Behavior Research Methods 53, 2021.Струп в 1935 году напечатал названия цветов конфликтующей краской и попросил называть краску. Чтение самих слов не замедлилось; называние краски у конфликтующих слов заняло на 74% больше времени, чем у цветных плашек — 110,3 секунды против 63,3 на сотню проб. На пробу это около 470 мс, но так дорого конфликт обходится именно в карточном варианте, где весь список читают вслух подряд. Современные опыты подают пробы по одной, и там интерференция относительно контроля из иксов идёт от 35 до 180 мс, обычно 70–130; сотня миллисекунд в таблице выше — оттуда, из сводки Маклауда, а не из самого Струпа. Интересен не размер, а то, что эффект нельзя выключить. Вас не просят читать; вас просят не читать; грамотный взрослый читает всё равно, и лишняя десятая секунды — это цена отмены того, что никогда не было под волевым контролем. Обзор Маклауда 1991 года, охвативший полвека работ, называет эффект одним из самых воспроизводимых в области. Тест держится в учебниках почти сто лет не потому, что показывает слабость, а потому, что показывает устройство: грамотность встроена так глубоко, что успела стать помехой.
J. R. Stroop, Journal of Experimental Psychology 18(6), 1935; C. MacLeod, Psychological Bulletin 109(2), 1991.В n-back объекты идут по одному, и надо сказать, совпадает ли текущий с тем, что был n шагов назад. Нагрузка тут не на хранение, а на непрерывное обновление: каждый новый объект надо впустить, а самый старый выбросить, соблюдая порядок. На 2-back нетренированный взрослый обычно точен; на 3-back различение резко падает; на 4-back большинство близко к угадыванию. В тренировочном исследовании Яэгги 2008 года участники начинали около n=3 и доходили до 4–5 только после девятнадцати дней ежедневных занятий, причём перенос на другие задачи оказался гораздо слабее, чем следовало из заголовка, — это выяснили последующие повторения. У машины никакого n нет: список есть список, и достать элемент за n позиций назад стоит одинаково при n=3 и при n=3000. Отсюда и потолок в таблице: 2–3 — это не лень и не недосып, а рабочая точка механизма обновления.
S. Jaeggi и др., PNAS 105(19), 2008; M. Kane и др., JEP: Learning, Memory, and Cognition 33(3), 2007.Тризман и Джелейд показали в 1980 году, что поиск бывает двух видов. Когда ищешь красный круг среди зелёных, время почти не зависит от числа зелёных: наклон около нуля, цель «выскакивает». Когда ищешь красный круг среди красных квадратов и зелёных кругов — то есть сочетание двух признаков, — время растёт с каждым отвлекающим объектом, порядка десятков миллисекунд на объект. Вулф на миллионе проб позже показал, что это не два механизма, а концы одного непрерывного распределения. Оборотная сторона того же — слепота к изменению: если между двумя картинками вставить короткий пустой кадр, наблюдателям Ренсинка требовалось много чередований, чтобы заметить крупную перемену, а в полевом опыте Саймонса и Левина около половины прохожих, объяснявших дорогу, не заметили, что спрашивающего подменили другим человеком. Обе линии об одном: внимание — узкое место, и то, что в него не попало, для вас не существует, как бы отчётливо оно ни было видно глазу.
A. Treisman, G. Gelade, Cognitive Psychology 12(1), 1980; J. Wolfe, Psychological Science 9(1), 1998; R. Rensink и др., Psychological Science 8(5), 1997; D. Simons, D. Levin, Psychonomic Bulletin & Review 5(4), 1998.Когда человека просят выдать случайный ряд из «влево» и «вправо», он избегает длинных повторов, чередует чаще, чем это делала бы монетка, и отвечает на собственный предыдущий ход. Этого достаточно, чтобы его предсказывать. В 1953 году Дэвид Хагельбаргер собрал в Bell Labs релейную машину, которая держала небольшую таблицу того, что игрок делал после каждого недавнего сочетания ходов, и ставила на то же самое: за 9795 нажатий она угадала 5218 раз — 53% там, где монетка дала бы 50%. Вскоре Шеннон построил в той же лаборатории машину поменьше, и в матче двух машин победила его. Современный вариант — несколько десятков строк с памятью на пять ходов. Защита не в том, чтобы «чувствовать себя случайным», а в том, чтобы брать цифры извне собственной головы. Проигрывать здесь неприятно ровно потому, что кажется, будто проигрываешь собственной свободе выбора; на деле проигрываешь таблице в несколько десятков строк.
D. Hagelbarger, IRE Transactions on Electronic Computers EC-5(1), 1956; C. Shannon, «A Mind-Reading (?) Machine», меморандум Bell Laboratories, 1953.Два теста на сайте смотрят в разные стороны. Искажённый текст — классический случай, где человек справлялся, а машина нет; но и человек тут не безупречен: группа Бурштейна намерила на образцах reCAPTCHA около 75% верных ответов, причём трое независимых людей сходились лишь в 71% случаев, а порождающие атаки 2018 года взяли несколько текстовых схем с долей от единиц процентов до семидесяти с лишним. С распознаванием машинного текста всё пошло в обратную сторону и быстрее. Кларк с соавторами обнаружили, что нетренированные читатели узнают тексты GPT-3 примерно на уровне случая, около 50%, и короткое обучение помогает мало; группа Якеша получила то же на самоописаниях в 2023 году. Один из этих тестов стоит ожидать выигранным. Второй — проигранным, и недавно. Направление здесь важнее самих величин: одна граница держится десятилетиями, другую сдвинули за несколько лет, и числа этого разбора устареют раньше всего остального на странице.
E. Bursztein и др., IEEE Symposium on Security and Privacy, 2010; G. Ye и др., ACM CCS, 2018; E. Clark и др., ACL, 2021; M. Jakesch и др., PNAS 120(11), 2023.Столбцы — степени десятки: сколько длится один элементарный шаг, считая в наносекундах. Каждый шаг вправо в десять раз больше предыдущего, так что расстояние между сложением в процессоре и примером, решённым в уме, — не тот разрыв, который закрывается тренировкой.
Они получены в лаборатории. Приглушённая комната, фиксированное расстояние до экрана, аппаратная кнопка, испытуемый, который выспался и прошёл тренировочные пробы. Здесь у вас браузер, экран, обновляющийся когда ему удобно, телефон, который мог решить что-нибудь установить, и страница, открытая между двумя другими делами. Любая задержка, измеренная на этом сайте, больше опубликованной, и разница — это оборудование, а не вы.
Разброс между людьми в большинстве строк шире, чем разница между двумя колонками выше. Простое время реакции у здоровых взрослых одного возраста расходится заметно больше чем на сотню миллисекунд, и примерно настолько же оно гуляет у одного человека в течение дня. Одна попытка говорит про эту попытку.
Ничто здесь не диагноз. Эти тесты — демонстрации со счётчиком: они не откалиброваны, не нормированы ни на какой выборке и никем не проводятся. Если результат вас тревожит, он свидетельствует ровно об одном — что вопрос надо задать тому, кто имеет право на него отвечать, а не о том, что у вас что-то есть.
И потолок — не приговор виду. Каждая цифра здесь описывает человека без инструментов, делающего одну задачу за несколько секунд. Люди пользуются ещё бумагой, приборами, друг другом и веками времени. А машинная колонка — это то, что делает вкладка браузера, и она тоже не передний край чего бы то ни было.