Хаб

Архитектура нейросети на основе механизма внимания (attention). Лежит в основе всех современных LLM: GPT, BERT, LLaMA, Gemini.

Минимальная единица текста при обработке языковой моделью. Токен — это часть слова, слово или символ. GPT-4 использует ~100к токенов в слова

Входной текст или инструкция, передаваемая языковой модели для генерации ответа. Качество промпта напрямую определяет качество результата.

Класс моделей, способных генерировать новый контент: текст, изображения, аудио, видео. Включает LLM, диффузионные модели, GAN.

Максимальный объём текста (в токенах), который модель может обрабатывать за один запрос. GPT-4: 128к токенов, Claude 3: 200к.

Дообучение предобученной модели на специализированном датасете. Позволяет адаптировать универсальную модель к конкретной задаче.

Retrieval-Augmented Generation — техника дополнения запросов к LLM релевантными данными из внешней базы знаний в реальном времени.

Векторное представление текста, изображения или другого объекта в многомерном пространстве. Основа семантического поиска и RAG.

Генерация языковой моделью правдоподобного, но фактически неверного контента. Ключевая проблема LLM при работе с конкретными фактами.

Автономная система на базе LLM, способная планировать, использовать инструменты (веб, код, API) и выполнять многошаговые задачи.

Способность модели работать с несколькими типами данных: текст + изображения + аудио + видео. Пример: GPT-4o, Gemini Ultra.

Архитектура генеративных моделей для изображений. Обучается обращать процесс зашумления. Основа Midjourney, Stable Diffusion, DALL-E 3.