Бизнес-академия «ПРАКТИКА»
Без магии и без сложной математики: что происходит внутри, когда вы пишете запрос, и почему за это списываются лимиты
Академия АБИТ РосНОУ · колледж в Зеленограде
Автор: преподаватель Сафронов Павел Андреевич
Главное заблуждение
Именно поэтому одинаковые вопросы дают разные формулировки — и именно поэтому каждый запрос стоит денег.
02 · Академия АБИТ РосНОУ, колледж в Зеленограде
01
Модель получает на вход весь ваш диалог от первого сообщения до последнего.
02
Она предсказывает, какое слово вероятнее всего идёт дальше — это чистая математика.
03
Шаг повторяется для каждого слова. Длинный ответ — больше шагов и больше расчётов.
Аналогия для студентов: не библиотека, где книгу снимают с полки, а музыкант, который каждый раз импровизирует заново.
03 · Академия АБИТ РосНОУ, колледж в Зеленограде
Миллиарды параметров
Это «настроенные ручки» внутри модели. Каждое слово проходит через них все.
Триллионы операций
Столько умножений и сложений уходит на один развёрнутый ответ.
Секунды на ответ
Всё это укладывается в пару секунд — за счёт специального железа.
04 · Академия АБИТ РосНОУ, колледж в Зеленограде
Частый вопрос: «наши разговоры занимают гигабайты?» Нет. Текст весит копейки. Дорого стоит не хранение, а работа процессоров в момент ответа.
Мегабайты текста на диске стоят почти ничего. Чат, который просто лежит в списке, не тратит ваш лимит.
Мощные GPU делают миллионы операций параллельно. Это электричество, оборудование и охлаждение дата-центра.
Вывод: лимит списывается за работу модели, а не за объём вашего текста.
05 · Академия АБИТ РосНОУ, колледж в Зеленограде
Механизм памяти № 1
Модель помнит всё, что вы сказали в этом диалоге. Но помнит она не так, как человек: каждое новое сообщение она перечитывает переписку заново, с самого начала.
06 · Академия АБИТ РосНОУ, колледж в Зеленограде
Механизм памяти № 2
Отдельно от переписки есть память о вас: устойчивые факты, проекты, пожелания по формату ответов. Она подтягивается и в новых диалогах.
Чем вы занимаетесь, ваши проекты, как вам удобнее получать ответы
Не составляет психологический портрет и не анализирует личность
07 · Академия АБИТ РосНОУ, колледж в Зеленограде
Главный фактор. Вся переписка перечитывается заново при каждом сообщении.
Документы, таблицы и картинки обрабатываются в каждом следующем ответе.
Большая презентация или длинный текст — это гораздо больше шагов расчёта.
Долгие рассуждения, поиск в интернете и работа с файлами стоят дороже.
08 · Академия АБИТ РосНОУ, колледж в Зеленограде
Первое сообщение в чате обходится дёшево. Сотое — в разы дороже, хотя вопрос может быть таким же коротким.
Причина одна: вместе с вопросом каждый раз заново обрабатывается вся предыдущая переписка.
Схема иллюстрирует принцип, а не точные значения.
номер сообщения в одном чате
09 · Академия АБИТ РосНОУ, колледж в Зеленограде
Новая тема — новый чат. Это экономит больше всего.
Не возвращайтесь без нужды в самые «раздутые» диалоги.
Формулируйте задачу сразу целиком, а не десятью уточнениями.
Тяжёлые файлы грузите в отдельный рабочий чат под эту задачу.
Просите нужный объём ответа: короткий там, где не нужен длинный.
10 · Академия АБИТ РосНОУ, колледж в Зеленограде
Тариф даёт более высокий потолок вычислений в день и доступ к продвинутым возможностям.
Компании встраивают модель в свои продукты и платят за объём обработанного текста.
Лимиты — не маркетинговый каприз, а отражение реальной стоимости железа и электричества.
11 · Академия АБИТ РосНОУ, колледж в Зеленограде
Ответ не хранится готовым — он высчитывается заново, слово за словом.
Дорого стоит не хранение текста, а работа видеокарт в момент ответа.
Внутри чата память — это перечитывание всей переписки целиком.
Между чатами память хранит факты о вас, а не портрет вашей личности.
Длина диалога — главный расходник. Новая тема — новый чат.
12 · Академия АБИТ РосНОУ, колледж в Зеленограде
Автор презентации
Преподаватель Академии АБИТ РосНОУ — колледжа в Зеленограде
Основатель бизнес-академии «ПРАКТИКА»: реклама, маркетинг, автоматизация бизнес-процессов и работа с искусственным интеллектом
13 · Академия АБИТ РосНОУ, колледж в Зеленограде