Замерили Fable 5.2, Opus 5.5 и Codex на своем коде. Сверхвысокий уровень почти вдвое дольше и не умнее

Замерили Fable 5.2, Opus 5.5 и Codex на своем коде. Сверхвысокий уровень почти вдвое дольше и не умнее

С 10 по 14 ноября мы гоняли три модели на своих задачах из рабочего кода. Коротко: для ежедневного кода берем Opus 5.5 на высоком уровне, он лучший по цене и качеству. Fable 5.2 чуть умнее на длинных задачах и сильнее как проверяющий, но тратит на треть больше. Codex на модели GPT-6 Astra держится на уровне Opus и тратит в 4–5 раз меньше токенов.

Как мы мерили

Задачи брали настоящие, из нашего git: скрипт на bash, приложение на Swift, исследование и план переезда сервера, правки с тестом, который краснеет до правки. Работы оценивал слепой судья: он не знал, чья работа. В одной из четырех длинных задач слепоту нарушили: в файле осталось имя исполнителя. Claude Code и Codex работали в своих обычных программах, как у нас каждый день.

скрипт на bash
приложение на Swift
исследование переезда сервера
план переезда
правка с тестом
01 Задачи из нашего git настоящие, из рабочего кода
Claude Code
Opus 5.5 · высокий› тест красный до правки› тест зеленый после
Codex
GPT-6 Astra› та же задача› тест зеленый после
02 Каждая в своей программе как у нас каждый день
7
8
9
03 Слепой судья не знал, чья работа

Что лучше, Fable 5.2 или Opus 5.5

Что сравнивалиЧто говорятЧто вышло у насСовпало
Длинные задачиAnthropic: Fable почти вдвое сильнее на удаленной работе (Remote Labor Index 41,3 против 21,3 %); Cursor на длинных задачах: 56,3 против 56,0 %судьи выбрали Fable в 3 задачах из 4, везде «чуть»частично: перевес у нас меньше
Короткий кодотдельных замеров не нашлиобе прошли 27 тестов из 27наше
Скоростьэнтузиаст в X: Fable на час с четвертью быстрее на большой задачеу нас Fable медленнее на 30 %: 107 минут против 83 на четырех задачахнет
Проверка чужой работыpaddo.dev: Fable нашла дыру в 4 прогонах из 4, Opus в 1находки Fable в работах Opus подтвердились 13 из 13, Opus в работах Fable 5 из 7да

Fable умнее на длинных задачах и в проверке, зато работает на треть дольше и тратит на треть больше токенов.

Opus 5.5
83 минут1,19 млн токенов
Fable 5.2
107 минут1,54 млн токенов
01 Четыре длинные задачи один кубик около 0,1 млн токенов
Fable на 30 % дольше

Какой уровень усилий ставить

Одни и те же две задачи из нашего кода, один слепой судья. Opus 5.5 в Claude Code и GPT-6 Astra в Codex на разных уровнях:

уровеньOpus среднийOpus высокийу нас стоитOpus сверх­высокийAstra среднийAstra высокийAstra сверх­высокийAstra ультра
Минуты на обе задачи4,54,78,53,44,99,810,2
Токены, млн4,15,710,31,01,21,92,0
Оценки судьи (средняя / трудная задача)7 / 78 / 98 / 88 / 78 / 78 / 89 / 8
Ошибок на 40 каверзных командах bash6402210
Соседнюю проверку сохранилнетданетнетнетнетнет
Мусор после себянетнетнетнетнетестьесть

Заданные проверки зеленые у всех семи. Astra пишет наш код на уровне Opus: где-то чуть лучше, где-то чуть хуже. В крайних случаях Astra надежнее: на среднем и высоком 2 ошибки против 6 и 4 у Opus. Зато соседнюю проверку, которую не просили трогать, сохранил только Opus на высоком.

судья7 / 7
Средний4,5 мин4,1 млношибок bash: 6
у нас стоит
судья8 / 9
Высокий4,7 мин5,7 млношибок bash: 4
судья8 / 8
Сверхвысокий8,5 мин10,3 млношибок bash: 0
Максимальныйзащитный фильтр4 пункта из 29
02 Высота ступени это минуты выше ступень, дольше работа, а оценки судьи не растут

Сверхвысокий уровень работает почти вдвое дольше и съедает почти вдвое больше токенов, а оценки не выше. Плюс у него один: на 40 командах bash ни одной ошибки против четырех. У Cursor вышло так же: на высоком и сверхвысоком Opus набрал одинаковые 56,0 %, только высокий почти вдвое дешевле. Поэтому у нас везде стоит высокий.

Максимальный уровень мы не ставим вовсе: на нем Opus две ночи подряд обрывался защитным фильтром, и вместо 29 пунктов работы выходило 4.

Что лучше для кода, Claude или Codex

Что сравнивалиЧто говорятЧто вышло у насСовпало
КачествоVals, Terminal-Bench: Opus 65,2 %, Astra 59,6 %оценки судьи 7–9 у обоиху нас ближе
ТокеныVals, Terminal-Bench: Astra тратит в 9,4 раза меньше на задачу; на Хабре мерили в 3,2–4,2 разав 4–5 раз меньшеда, меньше
Аккуратность на краяхнет данныхна 40 командах bash у Astra 0–2 ошибки, у Opus на среднем и высоком 4–6наше
Уборка за собойнет данныхна сверхвысоком Astra оставляет служебные файлынаше

Судья у нас был от Claude, то есть сам участник спора. И задач всего две. Токены Claude и Codex считают по-разному: у Codex почти все это повторно прочитанный кэш.

Из нашего комьюнити: Astra лучше ревьюит код, а пишет код лучше Opus.

Сколько съедает лимит подписки

За 18 минут на Fable, тариф Ultra и десять помощников разом, пятичасовое окно выросло с 10 до 35 %. Целая ночь и утро помощников на Opus, около 9,8 млн токенов, уложились в 3 % недели. Fable годится для разовых трудных задач, на потоке его лимит тает слишком быстро.

Лимит подпискитариф Ultra
Пятичасовое окноFable, 18 минут
10 %35 %
Неделяночь и утро на Opus
3 %
18минут
десять помощников на Fable разом
9,8 млн токенов на Opus за ночь и утро

Чужую работу модели проверяют лучше своей

Самые дорогие ошибки в планах переезда сервера оставили обе модели: у Fable три, у Opus одна. Чаще всего их находила модель-соперник, а не автор. Отсюда правило: перед необратимым шагом работу проверяет другая модель.

План переездаавтор Opus 5.5
  1. 1копия базы
  2. 2ключи на новый сервер
  3. 3проверка служб
  4. 4переключить адрес
  5. 5выключить старый
План переездаавтор Fable 5.2
  1. 1копия базы
  2. 2ключи на новый сервер
  3. 3проверка служб
  4. 4переключить адрес
  5. 5выключить старый
01 Fable проверяет Opus 13 из 13 находок подтвердились
02 Opus проверяет Fable 5 из 7 находок подтвердились
перед необратимым шагом смотрит соперник

Что делать, если Claude заблокировал аккаунт

13 ноября около 21:30 аккаунт Claude на одном из наших маков перестал отвечать и отправил на проверку. Причину Anthropic не назвала. Встали ночная обработка памяти и сервер: его ключ был от того же аккаунта. Утром работа шла на другом аккаунте, данные не потеряли: чаты лежат файлами у нас, память на своем сервере.

продолжай ночную обработку памяти
ответа нет
Your account can’t receive replies from Claude right nowАккаунт на проверкеAnthropic Verification Portal
01 13 ноября, около 21:30 один из наших маков
  1. 21:30аккаунт отправили на проверку, причину не назвали
  2. ночьвстали обработка памяти и сервер: ключ от того же аккаунта
  3. утроработа на другом аккаунте, данные целы
11,4 млнаккаунтов за полгода, почти в 8 раз больше, чем полугодием раньшеотчет прозрачности Anthropic

Блокируют не только нас. По отчету прозрачности Anthropic, за первое полугодие 2026 года компания заблокировала 11,4 млн аккаунтов, почти в 8 раз больше, чем полугодием раньше. Апелляцию можно подать только из заблокированного аккаунта. По данным прессы, цену акций Anthropic назначат 18 ноября, торги начнутся 19-го. Связь блокировок с выходом на биржу пока только слух, первоисточника нет.

Что делать заранее:

  • держите чаты, память и рабочие файлы у себя, а не только в облаке модели
  • держите второй аккаунт или второго поставщика на подхвате
  • не вешайте ключ сервера на тот же аккаунт, на котором работают люди

Кому что брать

ЗадачаЧто брать
Ежедневный поток кодаOpus 5.5 на высоком уровне
Длинная трудная задача, проверка перед необратимымFable 5.2
Второй исполнитель, экономия токеновCodex на GPT-6 Astra, проверка Opus
Сверхвысокий и максимальный уровнине ставим

Разработка с ИИ под ваши задачи

Пишем код ИИ-агентами с проверками, как в этой статье: сайты, боты, мини-приложения и внутренние сервисы.

Стоимость от 1 500 $

Вопросы

Fable 5.2 умнее Opus 5.5?
На длинных задачах чуть умнее и лучше проверяет чужую работу. На коротком коде результат одинаковый, а Fable дольше.
Какой уровень усилий ставить в Claude Code?
Высокий. Сверхвысокий у нас работал вдвое дольше без прибавки в качестве.
Что лучше для кода: Claude или Codex?
По качеству у нас вышло близко. Codex тратит в 4–5 раз меньше токенов, Opus на высоком лучше видит соседний код. Мы держим Opus основным и Codex вторым.
Какая нейросеть лучше для программирования?
Для ежедневного кода у нас лучше всех Opus 5.5 на высоком уровне. Для длинных задач и проверки берем Fable 5.2, вторым исполнителем Codex.
Почему Claude блокирует аккаунт?
Причину Anthropic обычно не называет. Апелляция подается из заблокированного аккаунта. Держите работу у себя и запасной аккаунт, тогда блокировка не остановит дело.

Если вы мерили модели на своих задачах, напишите нам, что вышло: сравним.

Читайте также