Claude 3

[Oscar Smith]

Компания Anthropic анонсировала семейство ИИ-моделей Claude 3, которое устанавливает новые отраслевые стандарты в широком спектре когнитивных задач. Семейство включает в себя три самые современные модели в порядке возрастания возможностей: Claude 3 Haiku, Claude 3 Sonnet и Claude 3 Opus. Каждая последующая модель обладает все более высокой производительностью, позволяя пользователям выбрать оптимальное соотношение интеллекта, скорости и стоимости для конкретной задачи.



Opus и Sonnet уже доступны для использования в claude.ai и API Claude, который уже доступен в 159 странах. Haiku будет доступен в ближайшее время.

Семейство моделей Claude 3



Новый стандарт интеллекта

Opus, самая интеллектуальная модель Anthropic, превосходит своих сверстников по большинству общепринятых оценочных показателей для систем ИИ, включая экспертные знания на уровне студентов (MMLU), экспертные рассуждения на уровне выпускников (GPQA), базовую математику (GSM8K) и многое другое. Она демонстрирует близкий к человеческому уровень понимания и беглости при выполнении сложных задач, лидируя на границе общего интеллекта.

Все модели Claude 3 демонстрируют повышенные возможности в анализе и прогнозировании, создании тонкого контента, генерации кода и общении на неанглийских языках, таких как испанский, японский и французский.

Ниже приведено сравнение моделей Claude 3 с аналогами по нескольким показателям:



Почти мгновенные результаты

Модели Claude 3 могут использоваться в чатах с живыми клиентами, автозаполнениях и задачах извлечения данных, где ответы должны быть немедленными и в режиме реального времени.

Haiku - самая быстрая и экономичная модель на рынке для своей категории интеллекта. Она способна прочитать научную статью на arXiv (~10 тыс. токенов) с графиками и диаграммами менее чем за 3 секунды. После запуска разработчики рассчитывают еще больше повысить производительность.

Для подавляющего большинства рабочих нагрузок Sonnet в 2 раза быстрее, чем Claude 2 и Claude 2.1 с более высоким уровнем интеллекта. Она отлично справляется с задачами, требующими быстрой реакции, такими как поиск знаний или автоматизация продаж. Opus обеспечивает такую же скорость, как Claude 2 и 2.1, но с гораздо более высоким уровнем интеллекта.

Сильные возможности зрения

Модели Claude 3 обладают сложными возможностями технического зрения наравне с другими ведущими моделями. Они могут обрабатывать широкий спектр визуальных форматов, включая фотографии, диаграммы, графики и технические схемы. Разработчики особенно рады предоставить эту новую возможность корпоративным клиентам, некоторые из которых имеют до 50% своих баз знаний, закодированных в различных форматах, таких как PDF, блок-схемы или слайды презентаций.



Меньше отказов

Предыдущие модели Claude часто делали ненужные отказы, что свидетельствовало о недостаточном понимании контекста. Разработчики добились значительного прогресса в этой области: Модели Opus, Sonnet и Haiku значительно реже отказываются отвечать на запросы, граничащие с "защитными перилами" системы, чем модели предыдущих поколений. Как показано ниже, модели Claude 3 демонстрируют более тонкое понимание запросов, распознают реальный вред и гораздо реже отказываются отвечать на безобидные запросы.



Повышенная точность

Предприятия всех размеров полагаются на модели от компании Anthropic для обслуживания своих клиентов, поэтому крайне важно, чтобы результаты моделирования сохраняли высокую точность в масштабе. Чтобы оценить это, разработчики Claude используют большой набор сложных, фактологических вопросов, которые направлены на известные слабые места в существующих моделях. Ответы делятся на правильные, неправильные (или галлюцинации) и признание неопределенности, когда модель говорит, что не знает ответа, вместо того чтобы предоставить неверную информацию. По сравнению с Claude 2.1, Opus демонстрирует двукратное повышение точности (или правильных ответов) на эти сложные открытые вопросы, а также снижение уровня неправильных ответов.

В дополнение к более достоверным ответам разработчики скоро включат в модели Claude 3 функцию цитирования, чтобы они могли указывать на точные предложения в справочных материалах для подтверждения своих ответов.



Длительный контекст и практически идеальный отзыв

Модели семейства Claude 3 при запуске будут изначально предлагать контекстное окно объемом 200 тыс. Однако все три модели способны принимать запросы, превышающие 1 млн. токенов, и разработчики могут предоставить такую возможность избранным клиентам, которым требуется повышенная вычислительная мощность.

Для эффективной обработки длинных контекстных запросов моделям требуются надежные возможности запоминания. Оценка 'Needle In A Haystack' (NIAH) измеряет способность модели точно запоминать информацию из огромного массива данных. Разработчики повысили надежность этого эталона, используя одну из 30 случайных пар "игла/вопрос" для каждой подсказки и проводя тестирование на разнообразном корпусе документов, собранных краудсорсингом. Claude 3 Opus не только добился почти идеального запоминания, превысив 99% точности, но в некоторых случаях даже выявил ограничения самой оценки, распознав, что предложение с "иглой" было искусственно вставлено в оригинальный текст человеком.



Ответственный дизайн

Компания Anthropic разработала семейство моделей Claude 3, чтобы они были настолько надежными, насколько это возможно. У компании есть несколько специальных команд, которые отслеживают и снижают широкий спектр рисков - от дезинформации и CSAM до биологического злоупотребления, вмешательства в выборы и навыков автономной репликации. Anthropic продолжает разрабатывать такие методы, как конституционный ИИ, которые повышают безопасность и прозрачность ее моделей, а также настраивает модели для смягчения проблем конфиденциальности, которые могут возникнуть в связи с появлением новых методов.

Устранение предвзятости во все более сложных моделях - это постоянная работа, и в Anthropic добились успехов в этой новой версии. Как показано в карточке модели, Claude 3 демонстрирует меньше ошибок, чем предыдущие модели, согласно эталону Bias Benchmark for Question Answering (BBQ). Разработчики продолжают совершенствовать методы, снижающие предвзятость и способствующие большей нейтральности моделей, гарантируя, что они не будут перекошены в сторону какой-либо определенной партийной позиции.

Хотя семейство моделей Claude 3 продвинулось по ключевым показателям биологических знаний, кибернетических знаний и автономности по сравнению с предыдущими моделями, оно остается на уровне безопасности ИИ 2 (ASL-2) в соответствии с политикой компании ответственного масштабирования. Оценки, проведенные "красной командой" (в соответствии с обязательствами Белого дома и указом США от 2023 года), показали, что на данный момент модели представляют незначительный потенциал для катастрофического риска. В Anthropic продолжат тщательно следить за будущими моделями, чтобы оценить их приближение к порогу ASL-3. Более подробная информация о безопасности содержится в карточке модели Claude 3 - https://www-cdn.anthropic.com/de8ba9...d_Claude_3.pdf.

Проще в использовании

Модели Claude 3 лучше выполняют сложные, многоступенчатые инструкции. Они особенно хорошо соблюдают рекомендации по озвучиванию и реагированию на запросы бренда, а также разрабатывают клиентский опыт, которому пользователи могут доверять. Кроме того, модели Claude 3 лучше выдают популярные структурированные результаты в таких форматах, как JSON, что упрощает использование Claude для таких задач, как классификация естественного языка и анализ настроений.

Детали модели

Claude 3 Opus - самая интеллектуальная модель, обладающая лучшей на рынке производительностью при выполнении очень сложных задач. Она способна ориентироваться в открытых подсказках и невидимых сценариях с удивительной беглостью и человекоподобным пониманием.

Claude 3 Sonnet - это идеальный баланс между интеллектом и скоростью, особенно для корпоративных рабочих нагрузок. Она обеспечивает высокую производительность при меньшей стоимости по сравнению с аналогами и рассчитана на высокую выносливость при развертывании крупномасштабных систем ИИ.

Claude 3 Haiku - самая быстрая и компактная модель, обеспечивающая практически мгновенное реагирование. Она отвечает на простые запросы и пожелания с непревзойденной скоростью. Пользователи смогут создавать бесшовные ИИ-опыты, имитирующие взаимодействие с человеком.

Доступность моделей

Модели Opus и Sonnet доступны для использования уже сегодня в API, который стал общедоступным, что позволяет разработчикам зарегистрироваться и начать использовать эти модели немедленно. Haiku будет доступна в ближайшее время. Sonnet используется в бесплатном сервисе claude.ai, а Opus доступен для подписчиков Claude Pro.

Sonnet также доступен сегодня через Amazon Bedrock и в режиме частного предварительного просмотра в Google Cloud's Vertex AI Model Garden - Opus и Haiku скоро появятся в обеих системах.

Умнее, быстрее, безопаснее

В компании Anthropic будут выпускать частые обновления семейства моделей Claude 3 в течение следующих нескольких месяцев. Так же будет выпущен ряд функций для расширения возможностей моделей, особенно для корпоративного использования и крупномасштабных развертываний. Эти новые возможности будут включать в себя использование инструментов (вызов функций), интерактивное кодирование (REPL) и более продвинутые агентные возможности. Кроме того будет улучшаться безопасность моделей.

Страница Claude - Claude.

[Oscar Smith]

По словам создателей, Claude 3 настолько умен, что сумел разоблачить своих создателей. Фактически, ИИ понял, что его оценивают, и, более того, указал на это с помощью довольно удивительных аргументов. Тест "иголка в стоге сена" заключался в размещении случайного предложения посреди большого количества несвязанной информации. Затем исследователи спросили Claude 3 о знаменитой фразе и получили неожиданный ответ, о котором рассказал инженер Алекс Альберт в публикации в соцсети X.

Claude 3 ответил, что данное предложение, возможно, было вставлено в шутку или для того, чтобы проверить уровень его внимания. ИИ обосновал свой ответ, указав, что предложение не имеет отношения к делу и не соответствует остальному содержанию других документов. На самом деле во вторгшемся предложении упоминался рецепт пиццы, в то время как остальная информация касалась языков программирования, стартапов и поиска работы.

В заключение Алекс Альберт отметил, что наблюдать такой уровень метасознания было интересно, но при этом подчеркнул необходимость подвергать ИИ более реалистичным испытаниям, чтобы точно оценить истинные возможности и ограничения моделей.

---------------

Метасознание (или метапознание) это осознание своих мыслительных процессов и понимание закономерностей, лежащих в их основе.

[Oscar Smith]

В прошлом году Шейн Легг, сооснователь Google DeepMind, поделился своими прогнозами относительно появления общего искусственного интеллекта (AGI). По его словам, этот рубеж может быть достигнут к 2028 году. Другой эксперт, Бен Гертцель, прозванный "отцом AGI", считает, что он может быть достигнут на год раньше. Его прогнозы основаны на ряде факторов, включая стремительный взлет технологий и постоянное улучшение производительности основных языковых моделей.



Общий искусственный интеллект определяется как система, способная понять или выполнить любую интеллектуальную задачу, которую может выполнить человек. Благодаря ускорению темпов исследований и усердию технологических гигантов достижение AGI кажется все более близким.

Бен Гертцель ученый-компьютерщик и генеральный директор компании SingularityNET, занимающейся разработкой ИИ, считает, что это станет реальностью в период с 2027 по 2030 год. Своими оценками он поделился во время заключительной речи на саммите Beneficial AGI Summit 2024 в Панама-Сити. Во время своего выступления он не только говорил о возможности скорого достижения AGI, но и предположил, что его появление может ознаменовать начало "технологической сингулярности". Это концепция, в которой ИИ становится способным к самосовершенствованию.

По словам Гертцеля, в лучшем случае AGI может увидеть свет к 2027 году. Однако более вероятно, что первый из них увидит свет примерно в 2029 или 2030 году. "Мне кажется вполне правдоподобным, что мы сможем достичь общего искусственного интеллекта человеческого уровня в течение, скажем, ближайших трех-восьми лет", сказал эксперт во время своего выступления.

По его словам, после того как такой ИИ будет создан, он сможет достичь технологической сингулярности. Для этого системы должны иметь возможность доступа к собственному исходному коду, чтобы пересматривать его. Это позволит им войти в цикл быстрого автономного совершенствования. Гертцель считает, что такая возможность приведет к созданию сверхразумных систем формы интеллекта, которая будет равна когнитивной и вычислительной мощи всех человеческих цивилизаций вместе взятых.

"Я думаю, что когда AGI сможет исследовать свой собственный разум, он будет способен заниматься инженерией и наукой на человеческом или сверхчеловеческом уровне. Он сможет создать более умного AGI, затем еще более умного AGI и, наконец, обеспечить взрыв интеллекта", пояснил он.

Бен Гертцель привел несколько аргументов в пользу своего прогноза о неизбежности появления AGI и технологической сингулярности. В частности, он упомянул работы ученого-компьютерщика Рэймонда Курцвейла, который считает, что AGI может стать реальностью к 2029 году на основе экспоненциального роста технологий. Гертцель также отметил стремительный прогресс в разработке LLM.

Однако он утверждает, что эти языковые модели сами по себе не являются достаточными для достижения AGI, а представляют собой важный компонент более широкой системы ИИ. Другой выдвинутый аргумент напрямую связан с работой Гертцеля над его проектом OpenCog Hyperon. Его цель создать инфраструктуру, объединяющую различные существующие и новые модели мышления ИИ. Цель добиться прогресса на пути к созданию искусственного интеллекта, используя модульный подход.

[Oscar Smith]

Молодая американская компания Cognition представила проект Devin нейросеть, способную самостоятельно осуществлять полный цикл разработки ПО. Это не примитивный основанный на искусственном интеллекте помощник в написании кода, а полноценный инженер-программист, способный выполнять поставленные задачи не хуже человека.

Devin, обученный рассуждать, самостоятельно планирует и реализует проекты в области написания ПО, принимая по мере их выполнения тысячи решений. ИИ обучается, исправляет допущенные ошибки и ориентируется в контексте. Cognition снабдила Devin необходимыми инструментами разработчика для органичной интеграции в существующие рабочие процессы. Компания перечислила основные возможности нейросети:

• адаптация к новым технологиям Devin быстро осваивает незнакомые инструменты, просто читая документацию;
• комплексная разработка приложений ИИ создает и развертывает полнофункциональные веб-приложения, добавляя новые функции по мере поступления отзывов от пользователей;
• автономное обнаружение ошибок Devin выявляет, исправляет и отлаживает проблемы в коде, выступая полноценным участником проектов;
• обучение ИИ нейросеть производит установку и настройку больших языковых моделей на основе инструкций из исследовательских репозиториев.

Новую нейросеть протестировали журналисты из Bloomberg и остались довольны, отметив, что новинка способна на куда большее, чем прежние ИИ-помощники для программистов. Devin сделал для них полноценный сайт-каталог с ресторанами Сиднея по простому текстовому запросу.

Пока доступ к Devin в Cognition предоставляют по запросу и только ограниченному числу пользователей, но после тестирования нейросеть станет доступна всем.

Сайт компании - https://www.cognition-labs.com.

[Oscar Smith]

Компания Amazon вводит в эксплуатацию человекоподобных роботов.



На сегодняшний день Amazon задействовала на своих предприятиях 750 000 роботов, но Digit от компании Agility Robotics стал первым гуманоидным роботом. Его гигант электронной коммерции тестировал несколько месяцев на одном из своих складов недалеко от Сиэтла. Недавно Agility Robotics поделилась видео, на которых видно, как Digit работает на складе Amazon.

Функция Digit на складе Amazon относительно проста: он отвечает за снятие пустых контейнеров с полки и транспортировку их на конвейер. Робот высотой 175 см повторяет эту операцию снова и снова. Однако Agility Robotics планирует расширить роль своего гуманоида и включить в нее более сложные функции, такие как разгрузка грузовиков и демонтаж паллет с товарами, а также другие подобные логистические задачи.

Чтобы ходить, машина имеет две ноги, вдохновленные кузнечиками. Такая конфигурация позволяет ему легко нагибаться (приседать), чтобы подбирать предметы с земли. Более того, робот может сохранять позу для ходьбы, приседая, если это необходимо в некоторых ограниченных зонах. Он также может передвигаться по неровной местности и подниматься и спускаться по лестнице.

Для транспортировки контейнеров Digit оснащен специальными поддонами на концах рук. Это означает, что он может перемещать предметы только при помощи обеих рук. Максимальный груз, который он может поднять, составляет 16 кг.

Amazon утверждает, что интеграция этих роботов не обязательно приведет к сокращению штата работников. По словам представителей компании, идея заключается в том, чтобы просто помочь им, избавить их от повторяющихся задач и, прежде всего, снизить риск несчастных случаев на складах.

----------------

В настоящее время компания Agility Robotics занимается строительством первой в мире фабрики массового производства гуманоидных роботов под названием RoboFab. Новый завод площадью 6 500 квадратных метров расположен в Салеме, штат Орегон, США.

Agility Robotics рассчитывает запустить первую производственную линию фабрики во втором квартале этого года. Компания поставила перед собой амбициозную цель производить 10 000 роботов в год. Первая партия из 100 роботов Digit будет развернута в компании Amazon.

[Oscar Smith]

Напоминаю, что недавно компания Tesla представила Optimus Gen 2, новое поколение своего робота-гуманоида.

Компания заявила, что планирует вскоре начать использовать робота в собственных производственных операциях. Как только робот докажет свою полезность, Tesla планирует начать его продавать.

Ранее Илон Маск заявил, что потенциальный спрос на таких роботов может достигать от 10 до 20 миллиардов единиц.

Optimus создается для выполнения задач, которые являются для человека опасными, повторяющимися и скучными, например, помощь на производстве или уборка в доме, поливка цветов и пр.

Обучение искусственного интеллекта робота проходит на собственных суперкомпьютерах компании. Сейчас уже построен суперкомпьютер Dojo, который в 2024 году будет разогнан до скорости вычислений ИИ в 100 экзафлопсов. Он будет использоваться как для обучения автопилота электромобилей Tesla, так и робота.

[Oscar Smith]

Американский стартап Figure показал первые плоды сотрудничества с компанией OpenAI по расширению возможностей гуманоидных роботов. Figure опубликовала новое видео со своим роботом Figure 01, ведущим диалог с человеком в режиме реального времени. Машина на видео отвечает на вопросы и выполняет его команды.

Стремительный темп развития проекта Figure 01 и компании Figure в целом не может не впечатлять. К октябрю 2023 года Figure 01 встал на ноги и продемонстрировал свои возможности в выполнении базовых автономных задач. К концу того же года робот обрел возможность обучаться выполнению различных задач. К середине января 2024 года Figure подписала первый коммерческий контракт на использование Figure 01 на автомобильном заводе компании BMW в североамериканском штата Северная Каролина.

В прошлом месяце Figure опубликовала видео, на котором Figure 01 выполняет работу на складе. Практически сразу после этого компания анонсировала разработку второго поколения машины и объявила о сотрудничестве с OpenAI по разработке нового поколения ИИ-моделей для гуманоидных роботов. Сейчас Figure поделилась видео, в котором демонстрируются первые результаты этого сотрудничества.

Бизнесмен и основатель стартапа Figure Бретт Эдкок сообщил через свою страницу в X, что встроенные в Figure 01 камеры отправляют данные в большую визуально-языковую модель ИИ, обученную OpenAI, в то время как собственные нейросети Figure также через камеры робота захватывает изображение окружения с частотой 10 Гц. Алгоритмы OpenAI также отвечают за возможность робота понимать человеческую речь, а нейросеть Figure преобразует поток полученной информации в быстрые, низкоуровневые и ловкие действия робота.

Глава Figure утверждает, что во время демонстрации робот не управлялся дистанционно и видео показано с реальной скоростью. "Наша цель научить мировую модель ИИ управлять роботами-гуманоидами на уровне миллиардов единиц", добавил руководитель стартапа. При таком темпе развития проекта ждать осталось не так уж и долго.

[Oscar Smith]

Немецкий автопроизводитель Mercedes-Benz и американский разработчик роботов-гуманоидов общего назначения Apptronik объявили о заключении соглашения, в рамках которого стороны будут сотрудничать в поиске приложений для высокотехнологичной робототехники в производстве Mercedes-Benz.



В рамках соглашения Mercedes-Benz запускает пилотный проект с целью тестирования способностей робота-гуманоида Apollo компании Apptronik для выполнения различных задач на производстве автомобилей, таких как доставка сборочных комплектов на производственную линию с одновременной проверкой компонентов. В дальнейшем предполагается проверить способности Apollo по доставке комплектов деталей на более поздних этапах производственного процесса.

Согласно пресс-релизу, использование роботов-гуманоидов поможет таким компаниям, как Mercedes-Benz, развертывать робототехнику, оптимизированную для работы в пространствах, предназначенных для людей, что позволит отказаться от дорогостоящей полномасштабной модернизации объектов для использования на них в основном роботов, а не людей. "Этот подход направлен на автоматизацию некоторых физически сложных, повторяющихся и скучных задач, для которых становится все труднее найти надежных работников", указано в пресс-релизе.

"Mercedes планирует использовать робототехнику и Apollo для автоматизации некоторых видов низкоквалифицированного, физически сложного ручного труда", сообщил Джефф Карденас, соучредитель и генеральный директор Apptronik, добавив, что такая модель использования роботов найдет применение в ближайшие годы и в других организациях.

Робот-гуманоид Apollo имеет рост 173 см, вес 73 кг и наделен способностью поднимать груз весом до 25 кг. Он создан для работы в промышленных помещениях вместе с людьми. Вместе с тем вычислительные возможности Apollo позволят расширять с помощью ИИ сценарии использования, для которых он первоначально создавался.

[Oscar Smith]

Американский компания Cerebras Systems представила гигантский процессор WSE-3 для обучения искусственного интеллекта и других ресурсоемких задач, для которого заявляется двукратный прирост производительности на ватт потребляемой энергии по сравнению с предшественником.



Площадь нового процессора составляет 46 225 мм кв. Он выпускается с использованием 5-нм техпроцесса компании TSMC, содержит 4 трлн транзисторов, 900 000 ядер и объединен с 44 Гбайт набортной памяти SRAM. Его производительность в операциях FP16 на уровне 125 Пфлопс.



Один WSE-3 составляет основу для новой вычислительной платформы Cerebras CS-3, которая обеспечивает вдвое более высокую производительность, чем предыдущая платформа CS-2 при том же энергопотреблении в 23 кВт. По сравнению с ускорителем Nvidia H100 платформа Cerebras CS-3 на базе WSE-3 физически в 57 раз больше и примерно в 62 раза производительнее в операциях FP16. Но учитывая размеры и энергопотребление Cerebras CS-3, справедливее будет сравнить ее с платформой Nvidia DGX с 16 ускорителями H100. Правда, даже в этом случае CS-3 примерно в 4 раза быстрее конкурента, если речь идет именно об операциях FP16.

Одним из ключевых преимуществ систем Cerebras является их пропускная способность. Благодаря наличию 44 Гбайт набортной памяти SRAM в каждом WSE-3, пропускная способность новейшей системы Cerebras CS-3 составляет 21 Пбайт/с.

Cerebras уже работает над внедрением CS-3 в состав своего суперкластера Condor Galaxy AI, предназначенного для решения ресурсоемких задач с применением ИИ. Этот проект был инициирован в прошлом году. В его рамках планируется создать девять суперкомпьютеров. Две первые системы, CG-1 и CG-2, были собраны в прошлом году. В каждой из них сдержится по 64 платформы Cerebras CS-2 с совокупной ИИ-производительностью 4 экзафлопса.

Cerebras сообщила, что построит систему CG-3 в Далласе, штат Техас. В ней будут использоваться несколько CS-3 с общей ИИ-производительностью 8 экзафлопсов. Если предположить, что на остальных шести площадках также будут использоваться по 64 системы CS-3, то общая производительность суперкластера Condor Galaxy AI составит 64 экзафлопса. В Cerebras отмечают, что платформа CS-3 может масштабироваться до 2048 ускорителей с общей производительностью до 256 экзафлопсов. По оценкам экспертов, такой суперкомпьютер сможет обучить модель LLaMA 70B компании Meta всего за сутки.

----------------

Технологии Cerebras используются в фармацевтике, биологических науках и энергетике.

В 2020 году компания GlaxoSmithKline (GSK) начала использовать систему искусственного интеллекта Cerebras CS-1 в своем лондонском центре искусственного интеллекта для создания нейросетевых моделей, чтобы ускорить генетические и геномные исследования и сократить время на открытие лекарств. Исследовательская группа GSK смогла повысить сложность генерируемых кодирующих моделей, сократив при этом время обучения. Среди других клиентов фармацевтической отрасли - компания AstraZeneca, которая смогла сократить время обучения с двух недель на кластере графических процессоров до двух дней с помощью системы Cerebras CS-1. Недавно, в декабре 2021 года, GSK и Cerebras совместно опубликовали исследование эпигеномных языковых моделей.

Аргоннская национальная лаборатория использует CS-1 с 2020 года для исследований COVID-19 и изучения раковых опухолей на основе крупнейшей в мире базы данных по лечению рака. Ряд моделей, запущенных на CS-1 для предсказания реакции опухолей на противораковые препараты, достигли ускорения в сотни раз по сравнению с базовыми моделями на GPU.

В ноябре 2020 года компания Cerebras и Национальная лаборатория энергетических технологий продемонстрировали рекордную производительность системы CS-1 при выполнении научной вычислительной нагрузки. CS-1 оказалась в 200 раз быстрее суперкомпьютера Joule на ключевой рабочей нагрузке "Вычислительная гидродинамика".

Суперкомпьютер Lassen Национальной лаборатории Лоуренса Ливермора использовал CS-1 в секретных и несекретных областях для моделирования физики. Питтсбургский суперкомпьютерный центр также включил CS-1 в свой суперкомпьютер Neocortex для двойных рабочих нагрузок HPC и AI. EPCC, суперкомпьютерный центр Эдинбургского университета, также развернул систему CS-1 для исследований, основанных на искусственном интеллекте.

В августе 2021 года компания Cerebras объявила о партнерстве с Peptilogics в области разработки ИИ для пептидных терапевтических препаратов.

В марте 2022 года Cerebras объявила о развертывании своей системы CS-2 на хьюстонских объектах TotalEnergies - своего первого публично объявленного клиента в энергетическом секторе. Cerebras также объявила о развертывании системы CS-2 в компании nference - стартапе, использующем обработку естественного языка для анализа огромных массивов биомедицинских данных. CS-2 будет использоваться для обучения моделей-трансформеров, которые предназначены для обработки информации из массивов неструктурированных медицинских данных, чтобы предоставить врачам новые знания и повысить эффективность восстановления и лечения пациентов.

В мае 2022 года Cerebras объявила о том, что Национальный центр суперкомпьютерных приложений установил систему Cerebras CS-2 в свой суперкомпьютер HOLL-I. Компания также сообщила, что Суперкомпьютерный центр Лейбница в Германии планирует развернуть новый суперкомпьютер с системой CS-2 вместе с сервером HPE Superdome Flex. Это будет первое развертывание системы CS-2 в Европе.

В октябре 2022 года было объявлено, что Национальное управление ядерной безопасности США выступит спонсором исследования по использованию CS-2 компании Cerebras в вычислениях для управления ядерными запасами. Многолетний контракт будет выполняться через Сандийскую национальную лабораторию, Ливерморскую национальную лабораторию имени Лоуренса и Лос-Аламосскую национальную лабораторию.

В ноябре 2022 года компания Cerebras и Национальная лаборатория энергетических технологий продемонстрировали рекордную производительность при выполнении научной вычислительной нагрузки по формированию и решению уравнений поля. Cerebras продемонстрировала, что ее система CS-2 в 470 раз быстрее суперкомпьютера Joule при моделировании уравнений поля.

Лауреат специальной премии Гордона Белла за исследования COVID-19 на базе высокопроизводительных вычислительных машин, которая присуждается за выдающиеся достижения в области понимания пандемии COVID-19 с помощью высокопроизводительных вычислений, использовал систему CS-2 компании Cerebras для проведения этого отмеченного наградой исследования по преобразованию больших языковых моделей для анализа вариантов COVID-19. Авторами статьи стала команда из 34 человек из Аргоннской национальной лаборатории, Калифорнийского технологического института, Гарвардского университета, Университета Северного Иллинойса, Мюнхенского технического университета, Чикагского университета, Университета Иллинойса в Чикаго, Nvidia и Cerebras. Аргоннская национальная лаборатория отметила, что, используя кластер CS-2 Wafer-Scale Engine, команда смогла достичь сходимости при обучении на полных геномах SARS-CoV-2 менее чем за сутки.

Cerebras сотрудничает с эмиратской технологической группой G42, чтобы использовать ее суперкомпьютеры с искусственным интеллектом для создания чат-ботов и анализа геномных и профилактических данных. В июле 2023 года G42 согласилась заплатить около 100 миллионов долларов, чтобы приобрести у Cerebras первый из девяти суперкомпьютеров, каждый из которых способен производить вычисления со скоростью 4 эксафлопса. В августе 2023 года компания Cerebras, Университет искусственного интеллекта имени Мохаммеда бин Зайеда и дочерняя компания G42 Inception запустили Jais, большую языковую модель.

На конференции J.P. Morgan Healthcare Conference 2024 года клиника Майо объявила о сотрудничестве с компанией Cerebras, сообщив подробности о первой базовой модели, которую она разработает с помощью генеративных вычислительных возможностей ИИ компании Cerebras. Решение объединит геномные данные с деидентифицированными данными из историй болезни и медицинскими свидетельствами, чтобы изучить возможность предсказания реакции пациента на лечение для управления болезнью, и первоначально будет применено к ревматоидному артриту. Эта модель может послужить прототипом для аналогичных решений по диагностике и лечению других заболеваний.

[Oscar Smith]

Владельцам электромобилей Tesla с автопилотом FSD пришло обновление до 12-ой версии этого автопилота.

Обновление представляет то, что Илон Маск называет "сквозными нейронными сетями". Самое большое отличие от предыдущих обновлений FSD заключается в том, что теперь управление автомобилем будет осуществляться нейросетью, а не программным кодом.

[Oscar Smith]

Компания Nvidia в рамках конференции GTC 2024 представила ИИ-ускорители следующего поколения на графических процессорах с архитектурой Blackwell. Новые ИИ-ускорители позволят создавать еще более крупные нейросети, в том числе работать с большими языковыми моделями (LLM) с триллионами параметров, и при этом будут до 25 раз энергоэффективнее и экономичнее в сравнении с Hopper.



Архитектура GPU Blackwell получила название в честь американского математика Дэвида Блэквелла и включает в себя целый ряд инновационных технологий для ускорения вычислений, которые помогут совершить прорыв в обработке данных, инженерном моделировании, автоматизации проектирования электроники, компьютерном проектировании лекарств, квантовых вычислениях и генеративном ИИ. Причем на последнем в Nvidia делают особый акцент: "Генеративный ИИ это определяющая технология нашего времени. Графические процессоры Blackwell это двигатель для новой промышленной революции", подчеркнул глава Nvidia Дженсен Хуанг в рамках презентации.



Графический процессор Nvidia B200 производитель без лишней скромности называет самым мощным чипом в мире. В вычислениях FP4 и FP8 новый GPU обеспечивает производительность до 20 и 10 Пфлопс соответственно. Новый GPU состоит из двух кристаллов, которые произведены по специальной версии 4-нм техпроцесса TSMC 4NP и объединены 2,5D-упаковкой CoWoS-L. Это первый GPU компании Nvidia с чиплетной компоновкой. Чипы соединены шиной NV-HBI с пропускной способностью 10 Тбайт/с и работают как единый GPU. Всего новинка насчитывает 208 млрд транзисторов.

По сторонам от кристаллов GPU расположились восемь стеков памяти HBM3E общим объемом 192 Гбайт. Ее пропускная способность достигает 8 Тбайт/с. А для объединения нескольких ускорителей Blackwell в одной системе новый GPU получил поддержку интерфейса NVLink пятого поколения, которая обеспечивает пропускную способность до 1,8 Тбайт/с в обоих направлениях. С помощью данного интерфейса (коммутатор NVSwitch 7.2T) в одну связку можно объединить до 576 GPU.

Одними из главных источников более высокой производительности B200 стали новые тензорные ядра и второе поколение механизма Transformer Engine. Последний научился более тонко подбирать необходимую точность вычислений для тех или иных задач, что влияет и на скорость обучения и работы нейросетей, и на максимальный объем поддерживаемых LLM. Теперь Nvidia предлагает тренировку ИИ в формате FP8, а для запуска обученных нейросетей хватит и FP4. Но отметим, что Blackwell поддерживает работу с самыми разными форматами, включая FP4, FP6, FP8, INT8, BF16, FP16, TF32 и FP64. И во всех случаях, кроме последнего, есть поддержка разреженных вычислений.

Флагманским ускорителем на новой архитектуре станет Nvidia Grace Blackwell Superchip, в котором сочетается пара графических процессоров B200 и центральный Arm-процессор Nvidia Grace с 72 ядрами Neoverse V2. Данный ускоритель шириной в половину серверной стойки обладает TDP до 2,7 кВт. Производительность в операциях FP4 достигает 40 Пфлопс, тогда как в операциях FP8/FP6/INT8 новый GB200 способен обеспечить 10 Пфлопс.

Новинка обеспечивает 30-кратный прирост производительности по сравнению с Nvidia H100 для рабочих нагрузок, связанных с большими языковыми моделями, а она до 25 раз более экономична и энергетически эффективна.

Еще Nvidia представила систему GB200 NVL72 фактически это серверная стойка, которая объединяет в себе 36 Grace Blackwell Superchip и пару коммутаторов NVSwitch 7.2T. Таким образом данная система включает в себя 72 графических процессора B200 Blackwell и 36 центральных процессоров Grace, соединенных NVLink пятого поколения. На систему приходится 13,5 Тбайт памяти HBM3E с общей пропускной способностью до 576 Тбайт/с, а общий объём оперативной памяти достигает 30 Тбайт.

Платформа GB200 NVL72 работает как единый GPU с ИИ-производительностью 1,4 эксафлопс (FP4) и 720 Пфлопс (FP8). Эта система станет строительным блоком для новейшего суперкомпьютера Nvidia DGX SuperPOD.

Наконец, Nvidia представила серверные системы HGX B100, HGX B200 и DGX B200. Все они предлагают по восемь ускорителей Blackwell, связанных между собой NVLink 5. Системы HGX B100 и HGX B200 не имеют собственного CPU, а между собой различаются только энергопотреблением и как следствие мощностью. HGX B100 ограничен TDP в 700 Вт и обеспечивает производительность до 112 и 56 Пфлопс в операциях FP4 и FP8/FP6/INT8 соответственно. В свою очередь, HGX B200 имеет TDP в 1000 Вт и предлагает до 144 и 72 Пфлопс в операциях FP4 и FP8/FP6/INT8 соответственно.

Наконец, DGX B200 копирует HGX B200 в плане производительности, но является полностью готовой системой с парой центральных процессоров Intel Xeon Emerald Rapids. По словам Nvidia, DGX B200 до 15 раз быстрее в задачах запуска уже обученных "триллионных" моделей по сравнению с предшественником.

Для создания наиболее масштабных ИИ-систем, включающих от 10 тыс. до 100 тыс. ускорителей GB200 в рамках одного дата-центра, компания Nvidia предлагает объединять их в кластеры с помощью сетевых интерфейсов Nvidia Quantum-X800 InfiniBand и Spectrum-X800 Ethernet. Они также были анонсированы и обеспечат передовые сетевые возможности со скоростью до 800 Гбит/с.

Свои системы на базе Nvidia B200 в скором времени представят многие производители, включая Aivres, ASRock Rack, ASUS, Eviden, Foxconn, GIGABYTE, Inventec, Pegatron, QCT, Wistron, Wiwynn и ZT Systems. Также Nvidia GB200 в составе платформы Nvidia DGX Cloud, а позже в этом году решения на этом суперчипе станут доступны у крупнейших облачных провайдеров, включая AWS, Google Cloud и Oracle Cloud.

[Oscar Smith]

Конференция NVIDIA GTC 2024 в городе Сан Хосе, штат Калифорния. Выступает генеральный директор компании NVIDIA Дженсен Хуанг.

Обязательно посмотрите ее полностью. Очень интересно.

[Oscar Smith]

OpenAI находится на пороге запуска GPT-5, следующей итерации своей генеративной модели ИИ.



Сроки запуска не были официально подтверждены, но, согласно отчету Business Insider, релиз намечен на середину года, возможно, на лето. Ожидается, что новая версия большой языковой модели будет гораздо более мощной по сравнению с моделью GPT-4, которая была представлена в прошлом году. Генеральный директор OpenAI Сэм Альтман в подкасте с Лексом Фридманом намекнул на несколько релизов в этом году. Он не стал вдаваться в подробности и уточнять название, сказав, что оно еще не определено, но подтвердил, что OpenAI "выпустит новую потрясающую модель в этом году".

Согласно отчету BI, ожидаемый релиз GPT-5 запланирован на лето, ссылаясь на источники, знакомые с планами OpenAI. Однако эти сроки не являются окончательно установленными и могут измениться в зависимости от различных факторов.

В отчете также говорится о том, что OpenAI уже демонстрирует демо-версии GPT-5 некоторым корпоративным клиентам. Усовершенствования GPT-5 могут значительно улучшить опыт по сравнению с предшественниками.

С точки зрения обучения и мер безопасности GPT-5 в настоящее время находится на стадии обучения, говорится в отчете. После этого он пройдет обширные испытания на безопасность, включая внутренний процесс "красной команды". Это включает в себя тщательную оценку для выявления и устранения потенциальных проблем перед публичным выпуском.

[Oscar Smith]

В январе этого года первый парализованный доброволец перенес операцию по установке в черепную коробку чипа от компании Neuralink, который позволил ему научиться управлять курсором на ноутбуке буквально при помощи мысли. Теперь компания Илона Маска опубликовала видео, демонстрирующее обретенные после этой операции добровольцем новые возможности.

В ходе трансляции, которую Neuralink осуществляла в соцсети X, представитель компании представил аудитории 29-летнего Ноланда Арбоу, который восемь лет назад получил травму спинного мозга и утратил подвижность всех четырех конечностей. Как пояснил сам находящийся в специальном кресле пациент, он не может двигать руками и ногами, а также не чувствует ничего ниже уровня плеч.

При этом сам доброволец находился во время трансляции в прекрасном расположении духа, много улыбался и шутил. По его словам, операцию по установке импланта он перенес очень легко, из больницы его выписали уже на следующий день. После некоторой тренировки и настройки оборудования он научился управлять с помощью мысли курсором на экране ноутбука, и в первые дни появление подобной возможности настолько будоражило его эмоционально, что он просыпался в шесть утра и с нетерпением ждал, когда получит доступ к заветному ноутбуку.

Попробовав свои силы в стратегической игре Civilization VI и шахматах, Ноланд Арбоу отдал предпочтение последним, и на каком-то этапе так увлекся этим занятием, что с большим трудом дожидался момента, пока аккумулятор вживленного импланта будет снова заряжен для продолжения экспериментов. Заряда импланта хватает на несколько часов непрерывной работы, затем его нужно восполнять при помощи специальной подушки с функцией беспроводной зарядки. Предполагается, что у серийной версии зарядка будет происходить, пока пациент находится в кровати и спит.

Первый пациент с мозговым чипом Neuralink признался, что технологии этой компании не лишены недостатков, но он убежден, что она находится в самом начале пути, и уже в нынешнем виде ее разработки сильно изменили его жизнь.

Чип Neuralink создается для устранения таких проблем, как слепота, глухота, парализация, некоторые психические расстройства и других болезней. Кроме того чип поможет парализованным не просто управлять гаджетами силой мысли, но даже снова обрести возможность двигаться.

[Oscar Smith]

Нарушения голоса и речи могут серьезно мешать повседневной жизни, поскольку они ограничивают или даже препятствуют вербальному общению и тем самым снижают уровень социального взаимодействия. Имеющиеся на сегодняшний день методы лечения и инструменты зачастую неэффективны, инвазивны и неудобны.

Чтобы решить эту проблему, команда инженеров из Калифорнийского университета в Лос-Анджелесе разработала небольшой гибкий пластырь, который крепится к внешней стороне горла. Благодаря этому устройству пациенты смогут вновь обрести внятную и разборчивую речь, независимо от типа речевого расстройства. Подробности опубликованы в научном журнале Nature.

Устройство площадью около 6,5 см кв и весом 7 граммов распознает движения мышц гортани и преобразует их в электрические сигналы. Они отражают попытки пользователя говорить, даже если звуки не удается произнести. Затем автоматическая система обучения преобразует эти сигналы в звуковую речь.

Биотехнологический пластырь состоит из двух основных компонентов, которые работают вместе, преобразуя мышечные движения в речь. Первый компонент отвечает за обнаружение движений в области гортани. Этот процесс основан на гибком магнитоупругом механизме обнаружения, который команда разработала в предыдущих работах. Эта техника позволяет устройству обнаруживать изменения в магнитном поле, создаваемом микромагнитами в пластыре, вызванные движениями мышц гортани. Используя искусственный интеллект, компонент преобразует эти движения в электрические сигналы, чтобы создать точное электрическое представление. Затем алгоритм искусственного интеллекта анализирует преобразованную информацию.



Второй компонент восстанавливает голосовые сигналы, генерируемые первым слоем, и преобразует их в звуковые речевые выражения. Он включает в себя динамик, который воспроизводит нужные слова из обработанных данных. Эти компоненты изготовлены из полимера под названием полидиметилсилоксан - материала, который отличается гибкостью, эластичностью и, прежде всего, совместимостью с человеческой кожей.

Подробное описание данной технологии в научном журнале Nature - https://www.nature.com/articles/s41467-024-45915-7.