HPE использует блокчейн для распределенных моделей машинного обучения

HPE приоткрыла завесу над двумя новыми продуктами ИИ, один из которых предназначен для предприятий, желающих создавать и обучать модели машинного обучения (ML) в масштабе, а второй представляет децентрализованную систему ML, позволяющую распределенным или периферийным развертываниям обмениваться обновлениями своих моделей. . Система разработки машинного обучения HPE — это комбинированная аппаратно-программная платформа, основанная на технологии, полученной в результате покупки компании «Definded AI» в прошлом году. Теперь, переименованная в среду разработки машинного обучения HPE, она интегрирована с вычислительной инфраструктурой HPE для предоставления системы, которая, по утверждению HPE, может ускорить обычное время окупаемости от создания и обучения моделей машин с недель или месяцев до дней. Ускорение объясняется тем, что оно поставляется как интегрированное решение, в котором предварительно настроенная инфраструктура оптимизирована для разработки моделей машинного обучения, что означает, что пользователи могут сразу приступить к обучению моделей машинного обучения, а не беспокоиться о настройке инфраструктуры. по данным ХПЭ. «У нас есть конечный пользователь, который является инженером по машинному обучению или исследователем, использующим инструменты и платформы, такие как PyTorch и TensorFlow, для создания крупномасштабных моделей глубокого обучения», — сказал Эван Спаркс, вице-президент по ИИ и высокопроизводительным вычислениям и руководитель команды «Решительный ИИ». «Им нужны инструменты, которые помогут им ускорить этот процесс, и эти инструменты — это не только графические процессоры, но и программные инструменты, которые помогут им автоматически масштабировать свои рабочие процессы и объединять их с более низкими частями стека здесь, аппаратным обеспечением, а также услугами, которые HPE может предоставлять клиентам по всему миру действительно привлекательные предложения». Базовая инфраструктура основана на серверных узлах HPE Apollo 6500 Gen10, каждый из которых оснащен восемью графическими процессорами Nvidia A100 80 ГБ и соединен между собой с помощью сети Nvidia Quantum InfiniBand. Узлы Apollo имеют до 4 ТБ памяти и 30 ТБ локального временного хранилища NVMe с дополнительным хранилищем HPE Parallel File System Storage. Также имеются серверы ProLiant DL325, выступающие в качестве сервисных узлов для управления системой, с подключением к корпоративной сети через коммутатор Aruba CX 6300M. Microsoft признает наличие еще большего количества проблем с печатью в Windows °Читайте также:Система продается в виде четырех узлов, но у клиентов есть возможность масштабирования, а услуги HPE Pointnext Services обеспечивают установку и настройку на месте для клиента. Стек программного обеспечения включает саму среду разработки машинного обучения, HPE Performance Cluster Manager для подготовки, управления и мониторинга серверных узлов и работает на Red Hat Enterprise Linux. HPE заявила, что ей еще предстоит оценить систему с помощью широко используемого набора тестов MLPerf, но заявила, что собственные внутренние тесты с использованием рабочих нагрузок клиентов показали, что система разработки машинного обучения HPE с 32 графическими процессорами работает до 5,7 раз быстрее при обработке естественного языка по сравнению с системой. сопоставимая платформа с теми же графическими процессорами, которые не имеют оптимизированного межсоединения, предоставляемого HPE. Система разработки машинного обучения HPE теперь доступна по всему миру. HPE не сообщила, будет ли это решение доступно в рамках ее модели покупки на основе подписки Greenlake, но возможность доступа к такой высокопроизводительной системе искусственного интеллекта без капитальных затрат может сделать ее более привлекательной. Обучение HPE Swarm Другим введением HPE в области искусственного интеллекта является HPE Swarm Learning, децентрализованная платформа машинного обучения для периферийных или распределенных сайтов, разработанная Hewlett Packard Labs. Идея Swarm Learning заключается в том, что группа распределенных узлов может обмениваться любыми обновленными параметрами, которые модель машинного обучения каждой отдельной системы могла узнать во время работы, вместо того, чтобы возвращать данные в какое-то централизованное место, такое как центр обработки данных, где находится эталонная модель машинного обучения. обновляется, и оттуда распространяются изменения. По словам HPE, последний подход может быть неэффективным и дорогостоящим, если большие объемы данных должны быть переданы обратно на материнский корабль, а также может нарушать правила конфиденциальности данных и прав собственности на данные, которые ограничивают обмен данными. Это потенциально может привести к неточным и предвзятым моделям, если они не обучаются на всех соответствующих данных. «Способ, которым мы в основном работаем при разработке и обучении моделей, а также при работе, заключается в том, что мы обычно берем все данные, собираем их и собираем в одном месте для обучения моделей», — сказал исполнительный вице-президент HPE по высокопроизводительным вычислениям и искусственному интеллекту Джастин. Хотард. Что действительно важно, когда речь идет о работе вашей инженерной команды? •Читайте также:«Эти данные во многих случаях собираются и собираются на периферии, а в некоторых случаях перемещение этих данных с периферии в ядро ​​имеет последствия для соответствия требованиям и GDPR, поэтому просто переместить все в одно центральное место нетривиально». В отличие от этого, HPE Swarm Learning позволяет обучать модели локально, и именно обучение на этих моделях, а не на данных, совместно используется между узлами. Это фактически включает в себя создание одноранговой сети между различными узлами и обеспечение безопасного обмена параметрами модели. Последнее достигается за счет использования технологии блокчейна, согласно HPE, которая широко используется в криптовалютных системах, чтобы гарантировать невозможность подделки транзакций или то, что такое вмешательство сразу становится очевидным. Распределенная система машинного обучения имеет приложения, выходящие за рамки тех, которые сразу приходят на ум при мысли о периферийных развертываниях. Существует множество бизнес-кейсов, когда модель машинного обучения может быть развернута на нескольких широко рассредоточенных сайтах, и простой способ синхронного обновления всех моделей может оказаться ценным. Одним из таких вариантов использования является обнаружение мошенничества для финансовых услуг, и HPE подробно рассказала об одном разработчике, TigerGraph, который объединил HPE Swarm Learning со своей платформой анализа данных для обнаружения необычной активности в транзакциях по кредитным картам. Вместе эти два решения способны повысить точность при обучении моделей машинного обучения на больших объемах финансовых данных из нескольких банковских отделений на обширной территории, сообщает HPE. Более типичный крайний вариант использования — производство, где профилактическое обслуживание с использованием машинного обучения позволяет избежать непредвиденных простоев оборудования. По словам HPE, групповое обучение может повысить точность системы за счет сбора информации, полученной из данных датчиков на нескольких производственных площадках. HPE Swarm Learning предоставляется как часть Swarm Learning Library, которая является контейнерной и может работать в Docker, на виртуальных машинах или на «голом железе» и не зависит от аппаратного обеспечения, заявила HPE. Платформа уже доступна в большинстве стран. ® Advertisements