06:00

Что такое трансформеры? (машинное обучение)

Где они используются? Трансформеры изначально позиционировались как нейросеть для обработки и понимания естественного языка. За четыре года с момента их появления они обрели популярность и появились во множестве сервисов, используемых ежедневно миллионами людей. Одним из самых простых примеров является языковая модель BERT компании Google, разработанная в 2018 году. 25 октября 2019 году техногигант объявил о начале использования алгоритма в англоязычной версии поисковика на территории США. Спустя полтора месяца компания расширила список поддерживаемых языков до 70, включая русский, украинский, казахский и белорусский. Оригинальную англоязычная модель обучали на датасете BooksCorpus из 800 млн слов и статьях из «Википедии». Базовая BERT содержала 110 млн параметров, а расширенная — 340 млн. Другой пример популярной языковой модели на базе трансформеров — это GPT (Generative Pre-trained Transformer) компании OpenAI. На сегодня самая актуальная версия модели — это GPT-3. Ее обучили на датасете размером 570 Гб, а количество параметров составило 175 млрд, что делает ее одной из крупнейшей языковых моделей. GPT-3 может генерировать статьи, отвечать на вопросы, использоваться в качестве основы для чат-ботов, производить семантический поиск и создавать краткие выжимки из текстов. Также на базе GPT-3 был разработан ИИ-помощник для автоматического написания кода GitHub Copilot. В его основе лежит специальная версия GPT-3 Codex AI, обученная на наборе данных из строчек кода. Исследователи уже посчитали, что с момента релиза в августе 2021 года 30% нового кода на GitHub написано с помощью Copilot. Кроме этого, трансформы все чаще стали применять в сервисах «Яндекса», например, «Поиске», «Новостях» и «Переводчике», продуктах Google, чат-ботах и прочее. А компания «Сбер» выпустила собственную модификацию GPT, обученную на 600 Гб русскоязычных текстов.

• 17:00 5 разлоков токенов, за которыми стоит следить на следующей неделе
• 14:28 Криптовалюты растут после заявления «главного злодея»
• 13:05 Эксперт усомнился в успехе биткоин-политики MicroStrategy
• 12:35 4-летние циклы фондового рынка и биткоина: неожиданная синхронизация
• 10:21 В Узбекистане токенизировали права на прибыль от продажи деревьев
• 09:44 Завьялов Илья Николаевич про Aerodrome. Рыночный взгляд (Ч.1).
• 08:39 В Великобритании разработают новые правила для крипторынка
• 07:44 WSJ: Cantor Fitzgerald договорилась о 5% доле в Tether

И еще 3