AI-дайджест 21.10: DeepSeek DeepInfer, оренда GPU, бенчмарки кодування
Економіка інференсу DeepSeek, оренда GPU як біржа, розрив між бенчмарками й реальним кодуванням за дослідженням JetBrains, прихована символізація в науці та нові компактні моделі.
- PM Lead Pro · вступ
- ШІ — це вже не лише тексти
- DeepSeek і економіка інфраструктури
- Оренда GPU як біржа
- Бенчмарки проти реального кодування
- Прихована символізація в науці
- Нові компактні моделі та рушії
- Підсумок і провокаційне питання
Щоденний AI-дайджест PM Lead Pro: розмова ведучих NotebookLM за матеріалами дня.
Джерела дня:
Подкасти
- Latent Space — AI for the Fortune 2000: How Tenex Builds an AI-Native SDLC — Alex Lieberman & CJ Hess
- Latent Space — The Programmable Data Center — Evan Conrad, SF Compute
- Odd Lots (Bloomberg) — James Robinson on What It Looks Like When a State is Failing
- Planet Money — We try to fix election polling (update)
Статті й дослідження
- Franchisee reconciles cash in 94% less time with ChatGPT Work · openai.com
- Terminal X matches senior investor judgment 88.6% with GPT-6.1 · openai.com
- (AINews) DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin… · latent.space
- Battle Drones—a vibe coded RTS with audio-based multiplayer · simonwillison.net
- NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation · huggingface.co
- FairStress: A deeper evaluation of fairness in LLM decision-making · huggingface.co
- Voxtral 3: Voice Agent SDK & Speech Models in 50+ Languages · mistral.ai
- One reason I do not love AI writing, or even AI-assisted writing - Marginal REVOLUTION · marginalrevolution.com
- The Causal Effect of Foreign Ideas on U.S. Innovation - Marginal REVOLUTION · marginalrevolution.com
- Workday Buys C1.ai: Identity Governance Becomes the Agent Control Plane · the-agent-report.com
- Release v2.141.0 · github.com
- Coding-Agent Benchmarks Should Match Their Users’ Task Flows - The JetBrains Blog · blog.jetbrains.com
- The Future of CSS ✨ • Josh W. Comeau · joshwcomeau.com
- Permit Pending: build the city of your dreams, subject to approval · permit.petercai.com
- «Запам’ятай і більше так не роби». Як створити ШІ-агента для перевірки коду і не помилитися · dou.ua
- (2610.25043) VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse · arxiv.org
- (2610.25844) SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation · arxiv.org
- (2610.26067) PhysSkin++: Real-Time and Generalizable Physics-Based Animation via Self-Supervised Neural Skinning · arxiv.org
Китай
- AI4Sci的哲学反思| 「人工智能与哲学」读书会第9期 - 智源社区 · hub.baai.ac.cn
Сторінки, які відстежуємо (зміни за день)
- System prompts - Claude Platform Docs · platform.claude.com
- ggml-org/llama.cpp · github.com
- MinerU - MinerU · opendatalab.github.io
- Information Retrieval · arxiv.org
- Releases · vllm-project/vllm · github.com
- Releases · ggml-org/llama.cpp · github.com
- Releases · ollama/ollama · github.com
- Releases · sgl-project/sglang · github.com
Транскрипт
Зазвичай ми всі очікуємо від ШАІ просто якихось красивих текстів чи генерації картинок. Але зараз все небагато серйозніше.
Абсолютно згоден.
Тобто алгоритми вже, по суті, формують багатомільйонні біржі обчислень, самі собі перевіряють код.
І роблять наукові відкриття, до речі.
Та. Причому роблять це мовою, якої ми взагалі принципово не розуміємо.
Тож сьогодні ми глибоко зануримось у свіжі дослідження, щоб зрозуміти реальну економіку ШАІ. Без всього цього штучного хайпу.
Давай почнемо з того, що полежить в основі. З інфраструктури та грошей. Бо там зараз найцікавіше.
От китайський DEEPSEEK щойно випустив DeepInfer.
Це той рушій для їхньої моделі V4.1 Flash.
Саме він. І за даними AI News він показує просто дику прибутковість.
Уяви собі, один кластер обробляє 155 трильйонів токенів на день.
Ого, трильйонів?
Так. І це генерує десь 22 мільйони доларів щодня. З маржинальністю близько 80%. Тобто залізо окупається всього за 81 день.
Нічого собі. Але знаєш, мене тут зачепило дещо інше. Цей Русій же вільно працює як на найновіших західних чіпах, ну цих NVIDIA SM100, так і на китайських.
На Huawei Ascend 950, ага.
От-от. Тобто монополія заходу на залізо, типу все, починає сипатися.
Latent Space B300 40 100
Саме так. І вимоги тільки зростають.
Слухай, ну ця оренда GPU зараз мені нагадує, знаєш, продаж свіжого молока.
Молока. Цікава аналогія.
Ну так, ти ж не можеш заморозити обчислювальний час на потім. Якщо сервер простоює, час, типу, просто скисає.
А, ну, логічно так.
Тому просто перед простоєм ціни на оренду різко летять униз. І якщо це стає повноцінною біржею, хіба ми не отримаємо якісь фінансові маніпуляції індексами цін на відеокарти?
Ризик величезний, це правда. Коли формуються деривативи на потужності, хтось 100% спробує розгойдати ринок. Але давай подивимось, на що взагалі розробники витрачають ці шалені гроші за оренду.
О, ти про те нове дослідження від JetBrains?
Ага, вони проаналізували майже 5 тисяч реальних сесій кодування. І знаєш що?
Всі ці бенчмарки, якими всі хваляться, відірвані від життя.
Абсолютно. В тестах типу SVE BenchPro десь 94% завдань – це просто вимога написати шматок коду за один єдиний запит.
Хто взагалі так працює в реальності?
Ну от саме, ніхто. Насправді програмісти просять шаї планувати архітектуру, пояснювати якусь складну логіку.
Або робити рев'ю коду. До речі, на Dow нещодавно писали, що наші українські інженери вже будують системи, де шаї-агенти перевіряють код один одного.
140 140
Ну, багато в чому так і є. Індустрія спалює мільйони на тестування того, що не має практичного сенсу.
Добре, від кодування, давай перейдемо до науки. Бо ось тут у мене, чесно кажучи, трохи зламався мозок.
Тип про китайський погляд на речі і спільноту Jiyuan.
Так. Вони описують третій етап впровадження ШАІ в науку, якусь переховану символізацію.
О, це дуже потужна концепція.
Вони стверджують, що ШАІ почне створювати власні світові моделі.
Ну от поясни, бо звучить як якась наукова фантастика. Як воно самостійно доводить гіпотези?
Дивись, раніше алгоритм мусив видавати результат нашою, зрозумілою людині мовою, хімічними формулами чи рівняннями.
А тепер ця прихована символізація означає, що модель формулює і тестує проблему суто у своєму внутрішньому багатовимірному просторі.
Тобто їй більше не потрібен оцей людський інтерфейс перекладу для самого процесу відкриття?
Саме так. Вона працює напряму з даними.
Знаєш, це якби мій звичайний настільний калькулятор раптом почав видавати геніальні відповіді, але…
Але винишив для цього власну математику.
Так, математику, яку людський мозок взагалі принципово не здатний осягнути.
Це реально кидає виклик усьому науковому методу. Ми тепер отримуємо робочі результати з чорної скриньки, без розуміння проміжних кроків.
Nemotron 3 Bolt
Це та, що на 74 мільярди параметрів, яку зараз через Олама запускають?
Ага. Причому активних параметрів там лише 9 мільярдів одночасно. Працюють тільки ті блоки, які потрібні зараз. Тому вона просто ідеально вміщується у звичайну відеокарту на 24 гігабайти.
Супер рішення для локальних агентних задач.
А ще ж CloudFlare випустили свої моделі Clef та ClefFlash.
Так, це взагалі новий клас мультимодальних моделей, типу API-рішень Jev.
Вони ж ніби відмовилися від генерації тексту взагалі.
Точно. Замість довгих текстів вони швидко видають ймовірності і просто класифікують дані.
І ще буквально коротко згадаємо про Inklin в Рушії SG-Lang. Це ж гігантська архітектура.
Майже трильйон параметрів і мільйон токенів контексту. І при цьому працює близьковично на новітніх серверах.
Добре, давай підсумовувати, яка з усього цього головна практична думка?
Я б сказав, що час перестати сприймати США виключно як генератор текстів. Найкраще зараз це впроваджувати його як фонового суддю або класифікатора даних. Це зекономить купу часу і ресурсів.
Абсолютно згодно. Але от для всіх, хто нас зараз слухає, маю таку фінальну провокаційну думку.
Ну, давай.
Якщо в недалекому майбутньому формула якихось нових життєво необхідних ліків чи надміцних матеріалів
буде створена машиною за допомогою цієї мови прихованих символів,
чи зможе людство взагалі перевірити їхню безпечність?
Або ж нам доведеться просто сліпо вірити шиї на слово? От є над чим подумати.
Обговорення