立ち絵を動かそう

合成音声動画を作る際に、AviutlやYMM4といった動画編集ソフトでは立ち絵にまばたきさせたりセリフにあわせて口を動かしたりといったことが簡単にできるようなのですが、それらはWindows専用ソフトなので私の環境であるUbuntuでは原則使えません。
そこで、Ubuntuでネイティブに動くソフトだけを用いて同じようなことができないかを試してみました。
動画編集ソフトにそのような機能が搭載されているものは調べた限りでは存在しないので、アプローチとしては立ち絵を動かすソフトを使って動かしている状態を録画してそれを動画編集ソフトに取り込むという形になります。

立ち絵を動かすのにはPNGTuberPlusというソフトを使います。ちなみにこれはGodot製のようです。

PNGTuber Plus by kaiakairos

Get more out of your png tubing experience.

itch.ioUnknownSilent

配信者が配信画面にアバター画像を表示させるためのソフトですが、ランダムなまばたきや声にあわせた口の開閉をさせる機能があります。これで動かしている立ち絵を音声ごと録画してしまおうというわけです。
具体的な使い方については、日本語でわかりやすく解説をしてくれている方がいますのでそちらの記事を参照してください。

PNGtuber+で動くアバターを作る！！｜からなし

はじめに こんにちはこんばんは初めまして、からなしといいます。 お絵描きを楽しむ猫です。 twitchやyoutubeにてゲームやお絵描きを配信しています。 最近PNGtuber+というソフトで2Dアバターを作ってみたので記事にしました。 ソフトを使って作ったアバターがこちら↓ ☆PNGtuber+のここがすごい！☆ ・動作が軽い ・ソフト一つで様々なモーションが付けられる ・パーツが少なくても作れる ・画像さえあればお絵描きの心得がなくても作れる 本記事ではソフトの導入から基本的な操作、アバターの作り方を＜基本編＞と＜応用編＞に分けて解説していきます。 本記事を書くにあ

note（ノート）からなし

さて問題は、これは配信者用なので本来マイク入力にしか反応しないというところです。しかし合成音声動画を作るにはパソコンの出力する音を拾ってもらわないといけません。そこでUbuntuのサウンド設定から入力デバイスを切り替えてしまいます。そうするとパソコン上で再生した音に反応して口が動くようになります。ただし音の区別などはできないのでどんな音でも口が動きます。変なタイミングで口が動かないよう、録画時は他の音を鳴らさないようにします。

録画にはOBSStudioというソフトを使います。配信用としてはメジャーなソフトですが録画にも使えます。

Open Broadcaster Software | OBS

OBS (Open Broadcaster Software) is free and open source software for video recording and live streaming. Stream to Twitch, YouTube and many other providers or record your own videos with high quality H264 / AAC encoding.

OBS

このソフトのすごいところはモニターに見えているままを録画するのではなく、ソースに指定したウィンドウを指定したレイアウトで配置して画面を構成できるというところです。バラバラに開いているウィンドウもソフト側できれいに並べ、重ねて録画できますし、作業用に開いている余計なウィンドウが映り込むこともありません。
これにPNGTuberPlusのウィンドウをソースとして設定し、裏であらかじめ合成しておいたセリフの音声を再生しながら録画すれば「まばたきしながらセリフにあわせて口が動く立ち絵の動画」が出力されます。
音声の再生はプレイヤーを使ってもいいですが、セリフとセリフの間にある程度間隔をあけて再生したいのでシェルスクリプトを使います。

#!/bin/bash

# 音声ファイルがあるディレクトリへ移動（必要に応じて変更）
cd ./Voice

# インターバル秒数
INTERVAL=2

# wav ファイルを名前順に再生
for file in *.wav; do
    echo "再生中: $file"
    mpv --no-video --quiet "$file"
    sleep $INTERVAL
done

上記のスクリプトに実行権限を付与して作業ディレクトリに置いておき、音声ファイルは連番にして専用のディレクトリにまとめておきます。あとは録画を開始したらスクリプトを実行すれば2秒間隔でセリフが再生されてくれます。

ここまでやったら出力された動画を適当な動画編集ソフトに取り込んで、他の素材と組み合わせて一本の動画に仕立てることができます。
テストとして簡単に作った動画が以下です。

問題なく立ち絵が動いているように見えます。

さて、立ち絵を動かせはしたわけですが、問題はこの作り方を今後の投稿動画に採用するかどうかです。利点と欠点を考えて決めなければいけません。
利点はもちろん見た目がリッチになることです。また、従来動画編集ソフトに素材として取り込んで手作業で配置していた立ち絵とセリフの音声が動画ファイルひとつにまとまるのでその部分では編集が楽になるでしょう。
しかし、代わりに一本の動画に相当する時間だけ録画するという作業が加わります。しかもセリフを手直しするなどとなったらまた同じだけ録画し直しです。該当部分だけ録画して切り貼りするのとどちらが楽でしょうかね。
また、字幕をつけるのが面倒になるという欠点もあります。従来の編集方法では音声クリップの位置とサイズにあわせて字幕を配置すればよかったですが、この方法だと音声は動画にまとまっているので都度再生して聞いてあわせる必要があります。
動画でも言っていますが、手間の総量はあまり変わらないとは思います。もともと一本の動画時間はあまり長くないので録画の手間も知れたものでしょう。どちらかというと今までの慣れたやり方を変えることへの抵抗感が大きいでしょうか。

どうするかはまだちょっと考え中なので、次動画を投稿するときまでに決めておきます。

以上です
ここまでお読みいただきありがとうございました。
よろしければ購読をお願いします。