Audio Craft

[Oscar Smith]

Компания Meta анонсировала AudioCraft - набор инструментов, основанных на искусственном интеллекте. Он включает в себя три различные модели ИИ и может быть использован для создания музыки и звуковых эффектов. Для ускорения исследований Meta выложила код своей технологии в открытый доступ.



Meta принимает активное участие в гонке искусственного интеллекта и недавно выпустила AudioCraft - набор инструментов, основанных на ИИ. Этот набор способен "легко генерировать высококачественное аудио и музыку" на основе простого текста. Для создания звуковых дорожек достаточно описать то, что вы задумали. При этом "не нужно играть ни одной ноты на инструменте", подчеркивает компания из Менло-Парка в своем блоге. Таким образом, нет необходимости учиться играть на гитаре, скрипке или фортепиано!

Три модели искусственного интеллекта для музыки, звука и сжатия.

В практическом плане AudioCraft состоит из трех моделей искусственного интеллекта. Первая из них - MusicGen. Анонсированная в начале лета, эта модель может генерировать короткую музыкальную композицию из предложения, используя базу данных из 20 000 часов лицензионной музыки. Пользователь должен указать желаемый жанр музыки, указать используемые инструменты и определить чувства, которые композиция должна вызывать у слушателя.

К модели прилагается AudioGen. Этот инструмент предназначен для генерации звуковых эффектов и озвучивания. Для разработки ИИ Meta использовала базу данных, содержащую "общедоступные звуковые эффекты". Опять же, достаточно написать, что вы хотите получить тот или иной звуковой эффект.

Этим двум моделям ИИ, уже анонсированным группой в прошлом, помогает EnCodec. Эта технология разбивает аудиофайлы на более мелкие фрагменты, чтобы ИИ было легче их обрабатывать. В итоге EnCodec генерирует музыку с меньшим количеством нежелательных искажений, таких как щелчки, жужжание или шипение. Результат получается более четким и резким благодаря лучшему сжатию.

Комбинируя эти три модели, каждый может создать музыкальную композицию или получить качественные звуковые эффекты для фильма, анимации или видеоигры, написав описание. Неудивительно, что для достижения точного и убедительного результата необходимо уделить особое внимание написанию текста, добавлению деталей и указаний. Мета отмечает, что AudioCraft очень прост в использовании:

"С помощью AudioCraft мы упрощаем общую разработку генеративных моделей для аудио по сравнению с предыдущими работами".

По мнению Meta, AudioCraft не призван заменить музыкантов и других профессионалов в области аудио. Напротив, американская компания описывает свою технологию как "новый вид инструмента - точно так же, как синтезаторы, когда они только появились".

Ссылка - AudioCraft: A simple one-stop shop for audio modeling.

Meta и исследования в области искусственного интеллекта.

Как и прежде, Meta предоставляет полный доступ к своим моделям исследователям. Эта стратегия с открытым исходным кодом направлена на стимулирование исследований в области искусственного интеллекта. Группа Марка Цукерберга уже сделала это с помощью LLaMA - языковой модели, альтернативной GPT от OpenAI. Эта модель была быстро принята разработчиками и использована для создания множества различных чат-ботов, включая версии без цензуры, доступные в Интернете.

"Мы открываем доступ к этим моделям, впервые предоставляя исследователям и практикам возможность обучать свои собственные модели на своих собственных наборах данных, что поможет им продвинуться в области аудио- и музыкальных произведений, создаваемых искусственным интеллектом", поясняется в релизе Meta.

За последние месяцы компания Meta представила множество инноваций, связанных с искусственным интеллектом. Только одна из ее разработок еще не была доступна для исследований. Это Voicebox - искусственный интеллект, способный имитировать человеческий голос. Группа опасается, что злоумышленники могут использовать этот инструмент для обмана и манипулирования другими людьми.

Подробнее о LLaMA 2 - https://vforum.org/forum/t7150.html.
Подробнее о Voicebox - https://www.vforum.org/forum/t7092-p...tml#post445009.

Так же загляните в эту тему - https://vforum.org/forum/t7163.html. Не забывайте переходить по внутренним ссылкам в каждом сообщении, будет интересно. Будьте в курсе всех новостей, которые пропустили.

-----------------------

Сначала были созданы ИИ, рисующие картины по вашему текстовому описанию, неотличимые от фотографий. Затем создали ИИ, с которыми можно общаться как с человеком текстовыми сообщениями. Теперь вот создают ИИ, пишущий музыку по текстовому описанию. И все это активно развивается, становясь все лучше и лучше. А что будет дальше? Создадут ИИ, генерирующий видео, а дальше и фильмы? А еще ведь создали ИИ, доставляющие посылки людям прямо домой, управляющие автомобилями без участия человека, изучающие вселенную, изобретающие новые лекарства, и многие другие ИИ, которые уже работают и служат человеку.

[SpaceSpirit]

Сначала были созданы ИИ, рисующие картины по вашему текстовому описанию, неотличимые от фотографий. Затем создали ИИ, с которыми можно общаться как с человеком текстовыми сообщениями. Теперь вот создают ИИ, пишущий музыку по текстовому описанию. И все это активно развивается, становясь все лучше и лучше. А что будет дальше? Создадут ИИ, генерирующий видео, а дальше и фильмы? А еще ведь создали ИИ, доставляющие посылки людям прямо домой, управляющие автомобилями без участия человека, изучающие вселенную, изобретающие новые лекарства, и многие другие ИИ, которые уже работают и служат человеку.

Да, ИИ действительно с каждой новой версией становятся все лучше и лучше. Взять, к примеру, рисующие картины. С каждой новой версией ИИ, картины становятся все более совершенные. Особенно портреты получаются красивыми и реалистичными.





Все эти портреты были нарисованы ИИ Stable Diffusion по моему текстовому запросу за несколько секунд.

Вот тут еще есть несколько красивых портретов: https://vforum.org/forum/t7156.html.

А еще этот ИИ, и другие аналогичные, может не только рисовать картины, но и редактировать ваши фотографии, например, заменить фон, дорисовать края, отредактировать детали, и все это по одному лишь вашему слову. Такая технология (Adobe Firefly) уже встроена в Adobe Photoshop.

Что будет дальше? А дальше будет "И сказал человек: "Да будет так". И стало так". Постепенно всю работу за людей будут делать машины с искусственным интеллектом, а человеку останется лишь просто жить и наслаждаться жизнью. Если уже сейчас почту начинают доставлять роботы, а электромобилями управлять автопилоты, то дальше человека ждет удивительное будущее.

[Oscar Smith]

Если вы живете не на Западе и не знаете, что там творит искусственный интеллект, то советую заглянуть в эту тему и посмотреть все видео на каждой странице - https://vforum.org/forum/t6995.html. Там и про беспилотные электромобили и про роботов доставщиков и про роботов строителей и про роботов фермеров и про многое другое, что уже активно внедряется и уже работает на человека. И это только начало пути искусственного интеллекта.

[Oscar Smith]

Немецкий автоконцерн Volkswagen не может продать свои электромобили, из-за чего ему грозит банкротство. За первые пять месяцев этого года компания произвела для европейского рынка 97 тысяч полностью электрических машин различных моделей, а продала из них только 73 тысячи.

Главная причина проблем компании - лавинообразная конкуренция со стороны американской электромобильной компании Tesla, буквально заполонившей европейский рынок своими электромобилями, которые намного дешевле электромобилей от Volkswagen. Кроме того конкуренция ощущается и со стороны китайских производителей.



Почему Tesla так везет? Как уже было сказано, причина в более низкой цене, таком же качестве, как и у немецких электромобилей, и, как мне кажется, дело в искусственном интеллекте Tesla, который рулит вместо водителя, а Tesla преуспела в этом плане гораздо дальше всех остальных.



Напоминаю, что в Европейском Союзе в течение июня продали 158 тысяч электрокаров это число впервые превысило количество сбытых за тот же период автомобилей с дизельными двигателями (139,6 тысячи).

Доля электрокаров на автомобильном рынке ЕС в прошлом месяце выросла с 10,7% до 15,1%, обогнав дизельные авто (13,4%). Наибольший рост пришелся на Нидерланды (+90,1%), Германию (+64,4%) и Францию (+52%).

Примерно та же самая картина в США и Китае. Например, по оценкам аналитической компании Counterpoint, в первом квартале 2023 года продажи автомобилей с электрической тягой в США подскочили на 79% по сравнению с тем же периодом прошлого года, что помогло США обойти Германию. По продажам в США лидируют гибридные автомобили от нидерландской транснациональной корпорации Stellantis, владеющая автомобильными брендами Abarth, Alfa Romeo, Chrysler, Citroen, Dodge, DS, Fiat, Jeep, Lancia, Maserati, Opel, Peugeot, Ram Trucks и Vauxhall. Ее доля на рынке США составляет более 40%.

С 2035 года в ЕС запретят продажу автомобилей с дизельными двигателями. То же самое в США, Индии и Китае.

[Oscar Smith]

Новость совсем не в тему, но хотелось бы поделиться ей в контексте предыдущей новости.



Так же напоминаю, что в Европе количество вырабатываемой электроэнергии чистыми источниками (ветер, солнце, био и др.) превысило выработку угольными, газовыми и атомными электростанциями. Так, например, в Германии доля чистой энергии в этом году составила рекордные 57,7%, в то время как в прошлом году ее доля составляла 51,8%. Производство электроэнергии на буром угле снизилось на 21%, на каменном угле на 23%, на природном газе на 4%, а на атомной энергии на 57% по сравнению со значениями 2022 года.

Примерно та же самая картина и в США, где за последние годы были закрыты около 300 угольных электростанций в пользу солнца и ветра.

[Lia]

Да, ИИ действительно с каждой новой версией становятся все лучше и лучше. Взять, к примеру, рисующие картины. С каждой новой версией ИИ, картины становятся все более совершенные. Особенно портреты получаются красивыми и реалистичными.

- Вы считаете эти картинки реалистичными?)

[SpaceSpirit]

- Вы считаете эти картинки реалистичными?)

Все зависит от того, что именно вы попросили у ИИ и как именно это нарисовать. То, что я выложил выше, так и было задумано.

Вот пример более реалистичный.



Тоже ИИ Stable Diffusion.

Промт: looking at viewer, dark drama light, closeup portrait of rich khan of the golden tatar-mongol horde, sadness, campfire, smoke rising bg, steppes of central asia, historical realism, attention to historical accuracy and armor details, soothing tones, slate grey atmosphere.

[Oscar Smith]

Видео по теме AudioCraft с примерами. Качество генерации пока хромает, но это только начало ИИ, создающих звуки и музыку. Генераторы изображений тоже по-началу генерировали безобразные картинки, но теперь даже от фотографий сложно отличить.

[Lia]

Все зависит от того, что именно вы попросили у ИИ и как именно это нарисовать. То, что я выложил выше, так и было задумано.

Вот пример более реалистичный


Тоже ИИ Stable Diffusion.

Промт: looking at viewer, dark drama light, closeup portrait of rich khan of the golden tatar-mongol horde, sadness, campfire, smoke rising bg, steppes of central asia, historical realism, attention to historical accuracy and armor details, soothing tones, slate grey atmosphere.

- я пробовала эту игрушку, с сыном занимались, мне не понравилось..

[Oscar Smith]

- я пробовала эту игрушку, с сыном занимались, мне не понравилось..

Это не игрушка, а инструмент создания изображений. Например, у вас есть сайт, который нуждается в каких-то изображениях. Можно нанять художника, но у многих ли есть деньги на них? В таком случае на помощь приходят подобные нейросети, которые за просто так нарисуют вам все, что вы захотите: фотографии цветочных полей, картины в стиле Ван Гога, стикеры с котиками, плакаты с героями фильмов Marvel, значки для рабочего стола, текстуры для игр, эротику на продажу и многое другое.

Вот только у всего этого есть одна проблема - люди не понимают, почему у них человеки получаются мультяшными с кривыми пальцами, ракурс не тот, освещение не такое. А суть проблемы в неумении писать промты и негативы. Об этом я писал здесь - https://www.vforum.org/forum/t7156-2.html#post447306. Ну и никто же не мешает вам сгенерировать не одну картинку, а 100. Из 100 картинок хотя бы 5 точно будут такими, какие вам нужны.

Например, если вам нужно изображение девушки, а она получается все время с толстой попой, то нужно в негативе написать: плохая анатомия, широкие бедра, широкие ягодицы, широкая попа. Тогда попа у девушки будет нормальной. А в промте можно написать: стройная фигура, симметрия. Если постоянно вылазят кривые пальцы, то их можно спрятать, указав нужный ракурс. Пальцы пока проблема многих подобных нейросетей. В Midjourney вроде как ее устранили, но эта нейронка платная. Ну и нужно правильно выбирать модель генерации. У Stable Diffusion их десятки. Есть для аниме стиля, есть для фотореализма, есть в стиле компьютерных игр и пр. Можно попробовать австралийскую реализацию Stable Diffusion по адресу - https://app.leonardo.ai, но она не совсем бесплатная. За многие функции, делающие изображения максимально качественными, придется немного заплатить.

Развитие нейросетей не стоит на месте и скоро они станут генерировать идеальные изображения и абсолютно бесплатно.

[Lia]

Это не игрушка, а инструмент создания изображений.

- я понимаю..

Например, если вам нужно изображение девушки, а она получается все время с толстой попой, то нужно в негативе написать: плохая анатомия, широкие бедра, широкие ягодицы, широкая попа.

- а мне больше нравится рисовать на своём планшете пером, и можно научиться создавать вот такие картинки, и даже ещё лучше, без всяких нейросетей, своею рукою.

[IMG][/IMG]

[Oscar Smith]

- а мне больше нравится рисовать на своём планшете пером, и можно научиться создавать вот такие картинки, и даже ещё лучше, без всяких нейросетей, своею рукою.

Хорошо, что вам нравится рисовать и вы можете рисовать не хуже, чем нейросети, но миллионам людей это не нравится, а картинки нужны. Что им делать? Платить тысячи долларов профессиональным художникам или воспользоваться бесплатной нейросетью, которая нарисует нужную картинку за несколько секунд?

[Lia]

...вы можете рисовать не хуже, чем нейросети...

- я этого не говорила..
я сказала, что интереснее учиться рисовать самому, а не задавать команды нейросети.. все-таки, это творческий процесс, который подразумевает овладение специальными навыками.
я рисую на планшете, но можно и просто учиться классическим способом.

но, нсли кому-то нужен этот инструмент для коммерческих целей, то почему бы нет, так намного быстрее и удобнее.