Skyway Walkers

SkyWayを使ったサービスを個人開発しています

YouTube Liveに音声入力で字幕を付ける（OBS + Talk To CSV）

Web Speech Api 音声入力 OBS Studio

こんにちは iwatendoです。

　YouTube Live等のライブ配信にて、音声認識で字幕を表示する方法はいくかあると思うのですが、今日はOBS Studio ＋ 私が開発しているTalk To CSVというサービスを利用してYouTube Liveに字幕を表示する方法を紹介したいと思います。

　もともと Talk To CSVは、ZoomやGoogle Meet使用したオンライン会議にて音声入力をテキストに変換して、最終的にCSVに出力する事を目的として開発したサービスでした。

　このサービスを もなか えりさんがSecond LifeのYouTube Live配信で字幕表示する為に試験的に使ってみたそうです。もなか えりさんの配信に出演している とげきち さんから連絡を頂き、こういった使い方もできる事を知りました。

ライブ配信の下部に表示されているのが Talk To CSVで音声入力された文字列です。
（※とげきち さんが、OBSのカスタムCSSの設定をし表示を整えたとの事です）

　完全に想定外の利用方法だったので驚きましたが、結構便利な使い方のように思われましたのでもなか えりさんと とげきち さんの了承を頂いてブログに書かせて頂く事にしました。

　具体的には、以下のような方法で表示しています。

  • Talk To CSVはブラウザ間で直接チャットができる機能を持っており、URLを伝えるだけでチャットに参加する事ができます。
  • OBSの配信ソースに「ブラウザ」があり、指定したURLのページをライブ配信上に表示する事ができます。
  • Talk To CSVのチャットクライアントのURLを、OBSの配信ソース「ブラウザ」のURLに指定します。
  • 見た目を変更する為にはカスタムCSSを指定します（OBS上で指定可能です）

　つまり、音声入力でチャットできるWebサービスのチャット内容をYouTube Liveに表示させているイメージです。現状はOBS上に良い感じに表示させるためにはカスタムCSSが必要となりますが、近日中にOBS用ページを実装予定です。

誤変換の問題について

　Talk To CSVの音声認識には Speech Recognition API を使用しています。この音声認識はPC版のGoogle Chromeであれば無料で利用できるAPIなのですが、誤変換も多く発生します。

　上記のような誤変換から、まったく意図しない品の無い誤変換がされる事もあったりして、YouTube Live配信をみていると、申し訳ない気持ちになる事もあります。

　残念ながら私の力では音声入力の変換精度を上げる事はできない為、音声認識の変換結果を特定キーワードを置換できる仕組みを実装してみました。

　Speech Recognition Text Modify : 音声認識結果の文字列変換定義の登録

　最近のもなか えりさんの配信で試験的に使用して頂いてて、名前の誤変換は多少改善されたようです。

　名前はなるべく誤変換して欲しくないと思う人も多いと思うのですが、音声入力で一番正確に変換するの難しい部分ではないかと感じています。

　特に日本人の名前は同じ読みで違う漢字を使うパターンが非常に多いため、音声入力で正確に変換するのは非常に困難です。とりあえず現状では、こういった方法でしか、誤変換を減らす方法が無いように思われました。

耳が聞こえない人の為の字幕表示について

　もなか えりさんは聴覚障害を持つ友人の為にYouTube Liveにリアルタイムで字幕を付けたかったとの事です。私自身も聴覚障害者の為のWebサービスを開発したいと思っていたこともあり、このような使い方をして頂いて非常に嬉しく思います。

　ただ、音声入力での字幕表示は、まだまだ誤変換が多く、音声無しでは会話の流れを正確に掴むのはのはまだまだ難しいなぁ・・というのが正直な感想です。

　音声入力の変換精度は上げれないのですが、少しでもライブ配信の楽しい雰囲気を伝えれるようにする為、誤変換の対策と同時に、特定キーワードを絵文字にしたりアイコン表示する機能も付けてみました。

　実際にその機能を使った動画はまだ無いので、近いうちにどのように表示されるか検証動画をアップしてみたいと思います。

最後に

　今日は記念すべき「えりさんぽ」100回目の配信でしたので、その配信を視聴しながらこのブログを書いてます。もなか えりさんは癒し系ボイスで、何回かYouTube Live配信を見ているうちに、私もすっかりファンになってしまいました。皆さんも良かったら見てみてください。

　それではまた。 

 2020.10.12 追記 もう少し詳しく使い方を書きました。iwatendo.hateblo.jp