Skyway Walkers

SkyWayを使ったサービスを個人開発しています

YouTube Liveに音声入力で字幕を付ける(OBS + Talk To CSV):使い方編

こんにちは iwatendoです。

 表題の件について以前もブログ記事を書きましたが、今回は具体的な使い方を説明していきたいと思います。

音声入力で字幕を付けたYouTube Live配信

 実際に OBS+Talk To CSV で字幕を付けたLive配信を「もなか えり」さんがやっています。そのアーカイブを見て頂くと、どんな感じで字幕を付けれるかわかります。(もともと音声入力で字幕を付けるアイディアは もなか えり さんと とげきち さんのアイディアでした)

youtu.be

字幕の付け方

まず Talk To CSVGoogle Chromeで起動します。

  • Talk To CSVを起動すると、以下のような画面が表示されます。
  • 「音声入力」のコンボから「日本語」を選択すると音声入力が開始されます。
  • 初回起動時のみマイクの使用許可を聞かれるので許可してください。

f:id:iwatendo:20201011170622p:plain

OBS側の字幕表示方法

  • Talk To CSVの上段のコンボから「OBS用URL」を選択し、その隣の「URLコピー」をボタンをクリックします(クリップボードにURLがコピーされます)
  • OBS側でソースにブラウザを選択します。

f:id:iwatendo:20201011171021p:plain

  • 「ソースを作成/選択」は、適当に名前を付けてOKします。

f:id:iwatendo:20201011171140p:plain

  • URLの箇所に Talk To CSVクリップボードにコピーしたURLを貼り付けます。
  • 幅や高さは自由設定してください。

f:id:iwatendo:20201011171400p:plain

  • 少し待つと、Talk To CSVでのメッセージがOBS上に表示されます。

f:id:iwatendo:20201011171924p:plain

  • (注意)接続用のURLは、Talk To CSVを起動する度に変更されます。その為、毎回コピー&ペーストが必要になります。
  • 表示される文字サイズはOBS側のブラウザソースの拡大・縮小で調整可能です。
  • 字幕には発言者の名前も表示されますが、Talk To CSV側で名前を未入力状態にしておくとOBS側に名前が表示されません。

f:id:iwatendo:20201011175612p:plain

複数人での字幕付与について

 もともとTalk To CSVはオンライン会議等で、音声入力で議事録を取る事を目的としたサービスです。そのため複数人で字幕を付けるといったような使い方もできます。

 たとえば、ゲーム配信で一緒にプレイしているメンバーとDiscordで会話をしながら
Talk To CSVにも接続してもらい、各自が音声入力をONにしてもらう事で参加メンバー全員の会話を字幕として表示するといった事が可能です。

 Talk To CSVに接続してもらうには、メニューの上段のコンボから「招待用URL」を選択して「URLをコピー」を押し、そのURLを一緒にゲームをプレイするメンバーに伝えて接続して貰います。(このURLもホスト側の Talk To CSVを起動しなおす度に変わるので注意してください)

 ちなみに Talk To CSVは、プログラムの都合で多重起動できないような制御をいれているのですが、片方をGoogle Chromeのシークレットモードで起動すれば多重起動可能です。「URLをコピー」して、シークレットモード側のブラウザにURLを貼り付けて起動すれば、とりあえず試しに一人で動かしてみる。といった事も可能です。

f:id:iwatendo:20201011172807p:plain

誤変換対策

 音声入力は誤変換されることも多いため、発言の訂正機能も追加しました。表示済みのメッセージをクリックする事によりメッセージが編集モードとなります。

 自分以外が発したメッセージも編集可能であり、OBS上に表示される字幕にもメッセージの修正内容が反映されます。この機能を利用して配信者以外のメンバーがサポートとして字幕を修正するといったことも可能です。

f:id:iwatendo:20201011173519p:plain

 その他の誤変換対策として、特定のキーワードを文字列置換させるといった事も可能です。それと同時に、特定キーワードに対して絵文字やアイコンを設定する事も可能です。設定手順としては、まずはExcelGoogle スプレッドシートにて、以下ような形式で変換内容を定義します。

f:id:iwatendo:20201011174121p:plain

 上記例では人名やニックネームの変換が上手くいかないケースが多い為、大量の誤変換キーワードを設定しています(これだけ設定しても、また違った誤変換がされるケースもある為、設定は結構大変です)

 その他、変換処理は定義順に実行しますので変換結果をさらに変換させる事が可能です。上記例では「iwatendo」の誤変換を「iwatendo」に変換した後にアイコンを付ける設定をしています。

 変換内容を定義した後はCSVファイルに出力し、以下のページから設定を取り込む事で Talk To CSV に反映されます。(この取り込み内容は、ブラウザに保存されますので毎回実行する必要はありません)

f:id:iwatendo:20201011174935p:plain

絵文字やアイコン付きの字幕表示例

f:id:iwatendo:20201011180013p:plain

技術的な話

 最後に技術的な話となりますが、仕組み的には Talk To CSVを通常起動しているブラウザと、OBS側で起動しているブラウザにてWebRTCのDataChannelを利用したデータ通信をしています。この通信部分にはNTT Communications様のSkyWayを利用しています。

webrtc.ecl.ntt.com

 

良かったら使ってみてください。
それでは。 

 

f:id:iwatendo:20201011094523j:plain

Alexas_FotosによるPixabayからの画像