Chess.com's CAPS: что такое CAPS в анализе партий?

I. ВСТУПЛЕНИЕ

Когда чесс.ком представил новую версию компьютерного анализа партий я очень обрадовался. Интерфейс стал тяжелее, но новые фишки, в особенности выделение "теоритической части дебюта" дали возможность по новому взглянуть на анализ. Порадовала оценка точности трудоустройства фигур, из которой я узнал, что плохо управляюсь со слонами и начал работать над этим. CAPS я встретил с энтузиазмом - новый критерий оценки партии - всегда здорово.

Однако, энтузиазм быстро угас по двум причинам:

1. Наблюдения: я заметил, что система не понимает разницы между пешечными структурами. В результате, играя закрытые дебюты, даже впервые и не понимая что в них делать я с высокой вероятностью получаю оценку 90%+. А в боковом варианте условной испанки или, не приведи господи, враге "любителей покопать с движком" Королевском Гамбите даже 80% получить - уже счастье. В общем, пришлось понимать как новая система чесс.кома оценивает дебютные планы.

2. Социальная: сначала сложно было понять, почему возросло количество сообщений "помогите, я играл против читера". Но всё быстро встало на свои места: люди воспринимают значение CAPS как попадание в первую линию. При 90+ цифры действительно выглядят страшно. Но никто не задумывается, как можно попасть в первую линию 90% раз, если число ходов или самостоятельных ходов не делится на 9. И так далее. Жизнь администраторов команд усложнилась.

II. ЗНАЧЕНИЯ ЦИФР

Перед тем как выкатить инструмент широкой публике, само собой его тестировали на кошках. В роли кошек выступили партии за доской, тысячи, а может и миллионы партий. Спасибо разработчикам, нам пользователям предоставили таблицу соответствия: как понимать значения CAPS и какому ЭЛО ФИДЕ в классику примерно соответствует тот или иной результат. Вот она:

Итак, Вы сыграли партию, включили анализ и система вернула Ваше значение CAPS 97.95+ - "Ура! Ура! Ура! Я МГ!" - не торопитесь. Вы не МГ. Вы просто сыграли одну партию на достойном по мнению алгоритма уровне. Вот если в 1000 последних партий у Вас медианная (не средняя) оценка CAPS выше 98, то Вы.. Нет, не МГ, а скорее всего железного дровосека подрубать любите. МГ интересуются тонкостью позиций, а CAPS по состоянию на сегодня вряд ли какому МГ интересен, если он не получает вознаграждение за улучшение алгоритма.

У алгоритма существуют также проблемы конвертации чисел в человеческую оценку. Левшей (1. d4) алгоритм любит больше, чем правшей (1. e4), а точнее оценка выше ставится за разыгрывание закрытых дебютов. Причина вроде бы на поверхности - при закрытых структурах уменьшается вариативность фигурных манёвров. Разыграли испанку, шотландку или итальянку? Не расстраивайтесь - вероятнее всего Ваш CAPS будет ниже, чем у более слабого игрока, играющего Лондон.

Открытая многофигурная позиция с подвидными пешечными островами, где человек гарантированно ошибётся, да и сам движок еле просчитывает всю тактику - CAPS с гарантией упадёт.

Есть и приятные моменты - оценивается в первую очередь правильность плана. Если Вы ставите форсированный мат в 5 ходов неким способом, то алгоритму похоже что без разницы, что был другой способ в три хода. Алгоритм одобряет именно тип атаки и/или защиты на объект или поле, который (ое) он считает слабым.

Высокий вес имеет дебют - разыграли криво - значит оценка будет низкой. Наивысшие оценки будут у побед примерно в 15-20 книжных ходов. Соответственно проиграли быстро - получите неуд. Иногда, оценка бывает дикой. Пример:

За эту партию мой соперник получил оценку CAPS... 2.9!! - в таблице, если продолжать шагом примерно в 2 за каждую сотню ЭЛО ФИДЕ, я играл с антишахматистом с рейтингом минус 5000. Мне же поставили оценку 97.5 за игру без сопротивления и неточность на гране ошибки: 3. g4?! Выводы делайте сами.

Настоящую ценность CAPS на мой взгляд приобретает в партиях длиннее 50 ходов со всеми стадиями игры - там оценка хоть что-то говорит о шахматисте. При длительности в 20 ходов Вы часто оцените не противника, а прочитанную им книжку.

Так что усиливайте именно свою игру, наслаждайтесь цифрами, но не очень то им доверяйте.

P.S. Существуют партии, по которым понять критерии оценки почти невозможно. Партия по ссылке ниже, публиковать диаграмму мне просто стыдно. Так коряво я сыграл за команды против француза в рапид. 

Статистика партии: 81 ход

Я: 1 ход по теории (тут странно - вторым я уравнял чёрными?), примерно 65% лучших ходов (53/81), 7 неточностей, 2 ошибки, 2 зевка, 6!! упущенных побед. Тут все посмеялись.

Соперник: 2 хода по теории, примерно 60% лучших ходов (49/81), 6 неточностей, 1 ошибка, 9!!! зевков (читатель в лёгком шоке) и 1 упущенная победа.

А сейчас будет не смешно. Оценки CAPS: 92.0 - 94.6 (примерно КМС против МФ). Тут читатель решит для себя всё сам.. А.. Партия: https://www.chess.com/analysis/game/live/4598524469 

III. КАК ИГРАЛИ ЧЕМПИОНЫ?

Для наглядности оценки, сравнения и пиара нового алгоритма, разработчики загрузили для анализа партии всех чемпионов мира. И получили любопытную таблицу как менялась точность игры от Пола Морфи до Магнуса Карлсена:

Как видим из таблицы, "дедушка" Стейниц - единственный чемпион мира - МФ по мнению алгоритма. Ситуация комичная, но на мой взгляд объяснение кроется в дебютной теории. Некоторые "солидные" ходы того времени сегодня могут быть оценены движками как неточность. CAPS вообще нервно реагирует на дебютные промахи. Тупой дебют система прощает, а вот за неточности в дебюте оценка может серьёзно упасть.

По многим гроссмейстерам был проведён глубокий анализ: партии разбивались на детские, взрослые и последние. Само собой, Магнуса Карлсена изучили под микроскопом. Ниже показатели норвежца по мнению CAPS:

Как видно на слайде, норвежец играет всё сильнее и сильнее. Лично меня поражает процент неточных ходов: 0.81% - это реже, чем раз в 120 ходов. Дикое число! Если качество игры сохранится, то нового чемпиона мы увидим не скоро, а процент людей на земле, которые не знают о других чемпионах мира и не понимают зачем эти странные 8 парней раз в два года играют между собой в каком-то турнире претендентов, станет критическим.

IV. МОЖНО ЛИ ПО CAPS ОТЛИЧИТЬ ЧИТЕРА

После следующего предложения от кого-то из читателей последует фраза "Дизлайк, отписка!", но не написать этого я не могу. НЕТ, ОПРЕДЕЛИТЬ ЧИТЕРСТВО ПО CAPS НЕЛЬЗЯ!

- Чё орёшь?

- Просто хотел выделить, а словами не умею.

Причина уже была раскрыта выше. Говоря простым языком, нужен анализ длинных партий с просмотром разных стадий игры и ряда других факторов, о которых просто не стоит писать, чтобы понять, подрубал ли оппонент железо. Но по факту, получить против тупо повторяющего движок читера такую длинную партию на практике невозможно.

В коротких же партиях, на которые чаще всего жалуются игроки, увидевшие запредельную оценку оппонентом с высокой оценкой может быть сделано 0 (ноль) самостоятельных ходов. Иными словами, человек расставлял фигуры согласно домашней подготовке и ни разу не думал над ходом - в лучшем случае вспоминал. Особенно бесполезно судить по коротким партиям до 30 ходов. Мои личные примеры:

Первое место из быстро найденного: оценка CAPS 99.6! - 8 ходов теории и 6 изученных дома по первой линии:

На втором месте партия с оценкой 99.3! В этой партии в том же варианте что и выше я сделал целых три хода с момента, когда знания закончились: отошёл ферзём от размена, напал на мат в один ход и поставил его. Сейчас я знаю, что это было не сильнейшее решение. Чувствуете, какого шпрота Вы читаете - за три хода потерял 0.3 пункта оценки: https://www.chess.com/analysis/game/live/4559517977 

И на третьем месте партия, где я сделал уже примерно 13 ходов самостоятельно. Думал плохо - один раз ошибся и CAPS 97.8! (достаточно, чтобы клеймили как читера - мне и за 93 писали, что я компьютерный подонок - забавно) https://www.chess.com/analysis/game/live/4501476933 

Поверьте на слово, партий с подобными оценками до 30 ходов у меня полно (все они в 4 наиболее изученных мной дебютах) - публиковать все будет простым хвастовством. Я лишь пытаюсь донести до читателя, что такие короткие партии с запредельно высоким CAPS вероятнее всего - результат подготовки, а не читерства. Оценить точнее можно только просматривая каждую подозрительную партию вручную, но критерием оценки будет служить не CAPS.

Если же CAPS Вашего соперника в партии 50+ ходов (каким-то чудом вы продержались столько) выше 99, скорее всего это или очень-очень сильный игрок, или тот, кого очень скоро забанят, если таких партий у него много.

V. ЗАКЛЮЧЕНИЕ

Уверен, что большинство людей, которые дочитали до этой части достаточно умны и самостоятельно сделают выводы.

Я же хочу закончить двумя моментами благодарности авторам анализа на chess.com:

1. Спасибо за раздел анализа с дроблением по фазам игры и показателями точности ходов конкретными фигурами. Благодаря анализу, лично я узнал о том, что слабо владею слонами. Информирован - значит вооружён. Просмотр партий сильных шахматистов в соответствующих позициях, обострение внимания на развитие слонов и тренировки помогли мне усилить этот компонент игры.

2. Я искренне надеюсь, что работа продолжается. В перспективе виден отличный инструмент для борьбы с мошенничеством в шахматах. Спасибо, что делаете игру чище!

Всем добра!

P.S. Цель данной статьи объяснить почему не каждый шахматист без звания, но с высоким показателем CAPS в отдельных партиях - читер. Побочная цель: развеять заблуждение о том, что CAPS - это точность игры в виде процента лучших ходов. Это именно оценка алгоритма в результате субъективной методики авторов алгоритма. Ещё есть над чем работать. Правила сайта запрещают обсуждение читерства на форумах - прошу в комментариях не клеймить отдельных подозреваемых и не обсуждать методики читерства, а обсуждать только предмет: анализ партии и оценки анализа на chess.com. Спасибо!