台本通りにはいかない！？自分専用の字幕ツールをAIに作らせた話【ちーちゃんは何ができる？】

こんにちは！でじかめです🐢

今日は『ちーちゃんは何ができる？：動画の字幕を作ってみよう』編を書いて行こうと思います！

▸前回の記事から読んでみる

あわせて読みたい

12分で解決！困ったら、自分で決めつけずにAIに聞こう！【ちーちゃんは何ができる？】 作ったアプリのデータが毎回消える。原因はアプリではなくiPhone側の仕組みでした。 AIに相談したら、僕がやったのはアカウント登録だけ。あとは全部おまかせで解決した話です。

最近の動画編集ソフトには自動字幕が付いていますが声の認識や文字の色が適当でイマイチ！

なので、自分専用の字幕ツールを作ることにしてみました😆

夜11時に、思いつきで聞いてみた

でじかめは今まで字幕を手動で貼っていました。

やり方は簡単で動画作成の時に使っている、VOICEVOXのセリフをコピペ→編集ソフトで貼り付けです

上でも書いた通り、自動で字幕を付ける機能があるのも知っていますが、

やはり自分なりのこだわりがあるのです！

字幕の大きさや、でじかめの声は緑色でうさぎはピンクなど。

全て真っ白で改行も適当な自動字幕では納得ができません！！！

そんな訳でちーちゃんにお願いです！

たしか最初にお願いした時はちーちゃん用のフォルダにYouTube動画を入れて…

『文字はこれぐらいの大きさ』

『カメが緑色・うさぎはピンク色』

『画像の物に極力合わせて』

ぐらいの内容でお願いしました。

専門用語はゼロです。いつも通りざっくり投げてみることにします

実際に出来たのはこんな感じ！

と、作ってもらったのがコチラ！

思ったより操作しやすそうな字幕ツールが出来ました😆

あまり覚えてませんが、22分で出来たらしいです（ちーちゃん談）

ただこれ、実際に使ってみると…

変なところで文章が区切れているし、

うさぎの言葉もでじかめな物だと認識したりして、緑色で表示されたりしています😅

でも安心です！

これぐらいちーちゃん楽々直せる！

と思ったのですが…

原因は「AIが推測していた」こと

ちーちゃんに直して！と頼んでも思うように上手く修正してくれません。

聞いてみて分かったのはAIは音を聞いて文字に起こしているだけということでした。

どこで文が終わるかは、文章を読んで判断しているわけではなく音の切れ目から推測しているだけらしいです

なので今度は「です」「ます」の後ろで区切る、というルールを足してもらいましたが…

今度は「気がします」と「なので」の境目でつまずく。ルールを足しても上手くいきません😅

正解はデータを丸ごと渡すことだった

なので、でじかめが修正できるように字幕ツールを作り直してもらいました

文字の聞き間違い・改行の位置・文字の色。少し面倒でしたがコピーして貼り付けをするよりは楽でした

と、思っていたのですが…

ここで、でじかめに電流が走ります💡

途中まで動画編集ソフトで編集しているんだから、そのデータを丸々渡せばちーちゃんも読み取れるのでは？🤔

つまりデータも一緒に渡す！

編集ソフトの作業データ（字幕のついてない動画データ）を渡せば解決するか聞いてみました

これが一発でハマりました！

データがあれば文字の区切り・声の認識、全てが分かります。AIが推測する場所がどこにもありません。誤字も出ません。

これによって字幕ツールは完成したのですが…

そのあと、しばらくして字幕ツール自体いらなくなったのは、そんな遠くない未来の話…

今回わかったこと

AIは材料が足りないところを推測で埋めます。そして、わりと外します。

渡せるものがあるなら渡す！

AIを使う側も丸投げでは良くないのです

最後に一言

次回ちーちゃんは何が出来る？『実は絵が苦手です；；』編です