Transkribator: почему нейросети быстрее говорить, чем печатать

Откуда взялась идея

Кто начинает работать с нейросетью всерьёз, довольно быстро приходит к одной мысли. Когда задачу объясняешь голосом, успеваешь сказать всё: что нужно сделать, что уже пробовал, чего опасаешься, какой результат считаешь хорошим. Модель получает картину целиком и отвечает заметно точнее. Когда печатаешь, половину мыслей срезаешь по дороге, потому что печатать долго и лень. Разница в качестве ответа видна сразу.

Поэтому диктовка нужна каждому, кто ставит нейросетям задачи. Варианты известны: встроенная диктовка в самом приложении или отдельная программа. Встроенная мне не подходила. Я работаю с агентом в терминале, и хотя там уже появилась диктовка по долгому нажатию пробела, срабатывает она не всегда и не везде, особенно когда связь плохая. Отдельный сервис, которым я пользовался до этого, упирался в дневной лимит бесплатной версии, дальше нужно было покупать подписку.

Тогда я задал модели простой вопрос: можно ли собрать своё приложение, похожее на тот сервис, чтобы оно превращало голос в текст? Оказалось, можно. За несколько заходов в январе появилась рабочая версия, а в конце февраля я выложил её открыто, чтобы ей мог пользоваться кто угодно.

Как это работает

Ставите курсор туда, куда нужен текст: в чат с нейросетью, в письмо, в заметку, в поле поиска. Нажимаете Ctrl+Shift+Space или среднюю кнопку мыши, говорите, нажимаете ещё раз. Текст появляется там, где стоял курсор. Никакого отдельного окна, в которое надо диктовать, а потом копировать оттуда.

Распознавание идёт целиком на вашем компьютере. Внутри модель GigaAM от Сбера, заточенная под русскую речь; она работает через движок Sherpa-ONNX на обычном процессоре, видеокарта не нужна. Голос никуда не отправляется: сетевых вызовов у программы ноль, и это проверяется автотестами при каждой сборке. Для рабочих разговоров, в которых звучат названия объектов и суммы, это не мелочь.

Раньше в программе был и облачный вариант распознавания, но в августе я его убрал: он то и дело не отвечал, а местный движок оказался достаточно хорош. С тех пор без интернета она работает так же, как с ним.

Что нужно: Windows 10 или 11, около 400 МБ на диске. Установки нет: скачали архив, распаковали, запустили. Код открыт, лицензия свободная, забирать и переделывать можно.

Пользуюсь я ей каждый день, в среднем около 60 записей в день: задачи агенту, письма, заметки по объекту. На этой неделе вышла новая версия: программа стала заметно легче, и то, на чём она падала, починено.

Как это делалось

Самое важное здесь не программа, а способ. Я не открывал код и не собираюсь: мне не нужно понимать, как он устроен, точно так же, как заказчику не нужно понимать, как замешан бетон. Я говорил, что должно получиться, пробовал, говорил, что не так. Нейросеть писала, собирала, гоняла тесты, исправляла. Так же собран и второй мой инструмент, приложение для приёмки квартир: https://ai-vibes.ru/blog/apartment-auditor/

Скачать: https://ai-vibes.ru/apps/transkribator/ Код и релизы: https://github.com/Lavr5000/Transkribator/releases/latest

Кому пригодится

Всем, кто ставит задачи нейросетям текстом, и всем, кто много пишет: письма, отчёты, замечания по объекту. Если вы хотя бы раз ловили себя на том, что сокращаете мысль, потому что лень её набирать, попробуйте сказать её вслух. Разницу увидите в первом же ответе.