AI-дайджест 04.10: ліміти для агентів, Thinking Box, Kimi та Qwen

0:02PM Lead ProЦе PM Lead Pro. У випуску: жорсткі ліміти витрат для агентів, бенчмарк Thinking Box і радар моделей. Послухайте, щоб побачити, чому варто перевіряти реальний стан системи, а не звіт ШІ.

0:17Уявімо таку ситуацію. Автономний асистент ідеально спілкується з клієнтом, каже, що проблему вирішено, але типу насправді залишає базу даних абсолютно недоторканою.

0:27Ага, класична ілюзія компетентності.

0:29Точно. І сьогодні наша місія для цього глибокого розбору – розібрати цю ілюзію. Ну і глянути на свіжі дослідження ринку, шаї, економіку даних і те, як легко обдурити себе красивими метриками.

0:41І знаєте, ця ілюзія, вона ж починається вже на рівні глобального розгортання.

0:46От Центр досліджень економічної політики, CEPR, нещодавно опублікував цікаві дані від дослідників Сан і Трефлера.

0:54І що там цікавого?

0:55За їхніми розрахунками, впровадження ШАІ здатне збільшити глобальну аудиторію мобільного додатка у 3,5 рази.

1:03Ого, 3,5? Звучить як мрія для будь-якого бізнесу.

1:07Так-так, але тут є проблема з даними. Щоб алгоритм адаптувався, йому потрібна інформація. А зараз уряди масово ставлять дискримінаційні обмеження на транскордонну передачу даних.

1:18І це сильно б'є по цьому показнику.

1:20Ще як. Через ці обмеження приріста аудиторії падає більш ніж удвічі, тобто до 1,5 рази. Модель просто не розуміє контексту інших країн, бо вчиться лише на місцевій демографії.

1:32Це типу як найняти геніального шеф-кухаря, але заборонити йому використовувати імпортні спеції.

1:52Це ви про автономних агентів?

1:54Саме так. От дослідник Саймон Віллісон у своєму блозі б'є на сполох. Каже, що автономним агентам життєво необхідні жорсткі фінансові ліміти за замовчування. І хмарна індустрія нарешті за це береться.

2:07Так, я читала, AWS у вересні цього 2026 року запустив такі ліміти, а Google Cloud зробив це ще раніше, здається, в липні.

2:16Точно. Бо, старі, м'які ліміти вже не працюють?

2:21Чекайте, але бізнеси ж завжди боялися жорстких лімітів. Ну, типу, трафік несподівано зросте, ліміт спрацює і весь сервіс ляже. Раніше ж просто приходив лист попередження на пошту.

2:30Лист на пошту не допоможе, коли ваш агент за мілісекунди генерує тисячі викликів до платних API.

2:37Поки ви вранці прочитаєте це сповіщення, рахунок вже може перевалити за 10 тисяч доларів.

2:42Жах який. Тоді виходить краще справді отримати помилку системи, ніж банкрутство на ранок.

2:48PM Lead ProДля тімліда: лист-попередження не зупинить агента, що робить тисячі викликів до платних API. У розмові йдеться про жорсткі ліміти за замовчуванням — AWS запровадив їх у вересні, Google Cloud раніше, у липні.

3:02Але навіть якщо вони не виходять за рамки бюджету, як перевірити, чи агенти взагалі роблять свою роботу?

3:08Для цього спільнота Hugging Face разом із Microsoft випустили новий бенчмарк під назвою Thinking Box.

3:14507 20

3:33Близько 80% помилок там – це якраз нездатність впоратися з інструментами, а не з логікою.

3:40Агент закриває тікет на словах, а в базі нічого не змінюється.

3:43Поки що найстабільнішою виявилася Clod Opus 5.5. 241 завдання виконано ідеально. 20 із 20 разів.

3:53PM Lead ProДля власника компанії: у бенчмарку близько 80% помилок — це збої з інструментами, а не з логікою. Агент може закрити тікет на словах, тож перевіряйте зміни в самій базі.

4:06Круто. Ну, давайте перейдемо до нашого радара моделей, бо в цьому ж тесті дуже цікаво проявили себе нові китайські розробки.

4:14Зокрема, моделі з відкритою вагою Кімікей-3 та Квен.

4:18То так.

4:18Кімікей-3 взагалі вражає широтою охоплення, типу, вирішує майже 94% завдань хоча б один раз, обходячи всі західні аналоги.

4:27Охоплення справді феноменальне, але стабільність там дуже низька. Усі 20 разів поспіль вона проходить тест лише у 13,5% випадків.

4:40Тобто це різниця філософій?

4:42Саме так. Західний підхід фокусується на стабільності. А китайський, як у Токімі, максимізує здатність братися за будь-яке завдання, не обмежуючи модель.

4:53Це дає неймовірну широту, але й купу збоїв через брак консистентності.

4:57Marginal Revolution

5:11Це те дослідження, яке стверджувало, що проживання біля атомних електростанцій викликає рак?

5:16Так, саме воно. Там використовували таку дуже специфічну математичну модель. І знаєте, що зробили критики?

5:23Просто перевірили ці ж розрахунки на іншому наборі даних.

5:26Точно. Вони застосували цей самий метод до інших об'єктів. І алгоритм показав, що супермаркети Костко нібито відповідають за 2,2 мільйона смертей від раку.

5:37Ого. Серйозно?

5:38Так. Це 20% усіх випадків. Виявляється, дешеві хот-доги – це типу зброя масового знищення.

5:45Класика. Коли дослідники будують наратив навколо бажаного результату, не перевіряючи саму методологію, вони вимірюють власну математичну похибку, а не реальність.

5:56Тому практична думка на сьогодні очевидна. Завжди перевіряйте фактичний стан системи. Краще зазирнути в базу даних, а не на те, що вам красиво резюмує ШАІ чи науковий абстракт.

6:07Абсолютно згоден. Реальність завжди вимагає доказів на рівні дій.

6:11І наостанок. Провокативна думка для роздумів. Якщо передові алгоритми досі масово ламаються на простих базах даних, то, можливо, майбутнє не за тим, щоб робити шиї ще розумнішим.

6:23А за чим?

6:23Можливо, справжня революція буде, коли ми радикально спростимо інструменти, якими він змушений керувати.

6:30PM Lead ProБільше — на pmlead.pro: транскрипт і джерела є на сторінці випуску. А ви перевіряєте, що агент справді змінив у системі, чи довіряєте його звіту?