A/B PILOT · ДИАГНОСТИКА

Безусловного победителя нет

Оба процесса создали работающий статический результат. Оба завершились отрицательно — по разным причинам. Поэтому пилот полезен как диагностика, но не доказывает превосходство одной версии.

Как появился действующий процесс

2.2 → кандидат 2.3 → A/B Pilot → семь выводов → 2.3.1

СНАЧАЛА ДОЛИ

Куда ушли новые токены

Самой дорогой фазой стал Challenge: он исправлял не сложность реализации, а пробелы постановки и самоссылку отчёта.

Discovery

8,7%
8,7%
Обработано
7 903 790
Новые
560 302

Pre-Challenge + DoR

16,4%
16,4%
Обработано
14 891 334
Новые
831 302

Delivery

21,6%
21,6%
Обработано
19 601 083
Новые
620 347

Challenge

49,2%
49,2%
Обработано
44 673 179
Новые
1 205 403

DoD + Closure

4,1%
4,1%
Обработано
3 692 237
Новые
94 669

СОПОСТАВИМАЯ РОЛЕВАЯ РАБОТА

Расход немного снизился — и переместился раньше

Ролевые агенты кандидата 2.3 обработали на 1,8% меньше и создали на 8,8% меньше новых токенов. При этом Pre-Challenge стал тяжелее, а Challenge — легче. Экономия не исчезла автоматически: часть проверки переместилась к началу цикла.

2.2

Обработано
17 048 338
Новые
1 017 106
Уникальные агенты
10
Pre-Challenge
4 цикла · 3 возврата · 2 роли
Code review
3 обращения · 2 возврата
Фактический результат
Работающий пакет, но программа начата без EPIC-000

кандидат 2.3

Обработано
16 748 544
Новые
928 128
Уникальные агенты
8
Pre-Challenge
3 цикла · 2 возврата · 6 ролей
Code review
2 обращения · 1 возврат
Фактический результат
Работающий пакет, но Challenge не замкнулся на exact candidate

ОГРАНИЧЕНИЯ

Сравнение диагностическое, а не контролируемое

  • Два прогона чередовались в одном диалоге и делили основной контекст.
  • Основного агента и общие контрольные обращения нельзя честно распределить между версиями.
  • Обработанные токены включают кэшированный контекст и не равны денежной стоимости.
  • Поздние исправления после замечаний владельца не входят в измеряемый интервал.

2.3.1

Семь выводов пилота

  1. 01

    Исходная постановка владельца остаётся источником истины вместе с историями.

  2. 02

    Тип работы и роль EPIC-000 фиксируются до создания продуктовых документов.

  3. 03

    Delivery выполняется Superpowers, а независимые роли проверяют результат.

  4. 04

    Exact candidate замораживается до Challenge и не меняется собственным отчётом.

  5. 05

    Циклы и параллелизм имеют жёсткие пределы; число 7 ограничивает сложность.

  6. 06

    Внутренние тесты не заменяют наблюдение владельца по конечному пути.

  7. 07

    Эффективность оценивается по фазам и новым токенам с явными оговорками.

Результат: процесс не переписан заново. Кандидат 2.3 получил точечные исправления и стал действующей версией 2.3.1.