Без тексту й затримок: Джек Дорсі створив ШІ, який чує інтонації та говорить як людина

Компанія Block, заснована Джеком Дорсі, представила голосову ШІ-модель Dessa, яка може вести діалог у реальному часі та розпізнавати інтонації співрозмовника. Її навчали лише на аудіозаписах людських розмов — без використання текстових даних.

Про розробку Дорсі повідомив у X, а деталі опублікувало РБК-Украина.

Як працює голосова модель

На відміну від традиційних голосових асистентів, Dessa не перетворює репліки на текст перед обробкою. Модель працює безпосередньо з аудіосигналом і може одночасно слухати та говорити.

Такий підхід дає змогу системі швидше реагувати на співрозмовника, робити паузи й перебивати його в потрібний момент. Розробники також заявляють, що модель розпізнає сарказм, сміх, вагання та зміни емоційного тону.

Під час діалогу Dessa може сміятися посеред речення або змінювати гучність голосу на прохання користувача. Під час тестування система також самостійно доповнювала назви фільмів, які співрозмовники не могли згадати.

На яких пристроях працює Dessa

Для навчання моделі використали один високопродуктивний сервер із графічними процесорами. Водночас готова система здатна працювати локально на ноутбуках MacBook Pro з чипом Apple M4 Max або потужнішими процесорами.

Швидкість обробки перевищує показники, необхідні для роботи в реальному часі, тому під час розмови затримки мають бути мінімальними.

Поки що Dessa не доступна для широкого використання. Block надає обмежений доступ фахівцям із безпеки штучного інтелекту, які проводять незалежне оцінювання моделі. Інші охочі можуть долучитися до списку очікування перед майбутнім масштабним запуском.