06:00

Что такое трансформеры? (машинное обучение)

Где они используются? Трансформеры изначально позиционировались как нейросеть для обработки и понимания естественного языка. За четыре года с момента их появления они обрели популярность и появились во множестве сервисов, используемых ежедневно миллионами людей. Одним из самых простых примеров является языковая модель BERT компании Google, разработанная в 2018 году. 25 октября 2019 году техногигант объявил о начале использования алгоритма в англоязычной версии поисковика на территории США. Спустя полтора месяца компания расширила список поддерживаемых языков до 70, включая русский, украинский, казахский и белорусский. Оригинальную англоязычная модель обучали на датасете BooksCorpus из 800 млн слов и статьях из «Википедии». Базовая BERT содержала 110 млн параметров, а расширенная — 340 млн. Другой пример популярной языковой модели на базе трансформеров — это GPT (Generative Pre-trained Transformer) компании OpenAI. На сегодня самая актуальная версия модели — это GPT-3. Ее обучили на датасете размером 570 Гб, а количество параметров составило 175 млрд, что делает ее одной из крупнейшей языковых моделей. GPT-3 может генерировать статьи, отвечать на вопросы, использоваться в качестве основы для чат-ботов, производить семантический поиск и создавать краткие выжимки из текстов. Также на базе GPT-3 был разработан ИИ-помощник для автоматического написания кода GitHub Copilot. В его основе лежит специальная версия GPT-3 Codex AI, обученная на наборе данных из строчек кода. Исследователи уже посчитали, что с момента релиза в августе 2021 года 30% нового кода на GitHub написано с помощью Copilot. Кроме этого, трансформы все чаще стали применять в сервисах «Яндекса», например, «Поиске», «Новостях» и «Переводчике», продуктах Google, чат-ботах и прочее. А компания «Сбер» выпустила собственную модификацию GPT, обученную на 600 Гб русскоязычных текстов.

• 20:16 Основы хранения криптовалют: советы новичкам по выбору кошельков
• 14:46 Держать или продавать: до решения по Ethereum-ETF осталось несколько часов
• 14:46 Биткоин-биржа Kuna провела переговоры о продаже бизнеса в Украине
• 14:17 Чиновники из США и Черногории обсудили возможность экстрадиции основателя Terraform Labs
• 14:08 Нацбанк Украины ограничит физлицам количество P2P-операций
• 13:47 Открытый интерес к фьючерсам на Ethereum впервые превысил $15,6 млрд
• 13:31 Ethereum уже почти $4000. Почему?
• 13:26 Как далекий от криптовалют документалист при помощи мамы и $2500 снял фильм о крахе FTX

И еще 28