歌ってみた動画作るのにffmpeg使ってる人日本に何人いるのか知らないけど僕はffmpegが一番早いと思うのでffmpeg使います。
ffmpegでバッチ処理化する前に、ファイル名の標準化をしておくのがおすすめ。

mp4 to wav

ダウンロードした本家動画とoff vocal動画を、wavへ変換する。

ffmpeg -i input.mp4 -vn -acodec pcm_s16le -ar 44100 -ac 2 output.wav

# e.g.
ffmpeg -i offv_*.mp4 -vn -acodec pcm_s16le -ar 44100 -ac 2 offv.wav
ffmpeg -i org_*.mp4 -vn -acodec pcm_s16le -ar 44100 -ac 2 org.wav

汎用性高そう。

動画の音声を削除する

本家動画の音声を削除する。

ffmpeg -i org*.mp4 -vcodec copy -an org_noSound.mp4

動画に音声を合成する

歌ってみた音声を本家動画に合成する。(歌ってみた音声が本家動画の音声に合わせてエンコードされているのが前提。そうじゃないとズレる。)

# note
ffmpeg -i org*.mp4 -i comp_*.wav -vcodec libx264 -acodec libmp3lame 歌ってみた.mp4

# e.g
ffmpeg -i org*_noSound.mp4 -i comp_oke-3_normalize_calc.wav -vcodec libx264 -acodec libmp3lame comp_oke-3_normalize_calc.wav.mp4

• オーディオファイルの音声を遅らせるオプションもあるらしい(未検証)

-itsoffset 00:00:05.0

究極的に、aviutilとかの動画編集ソフトを開かなくても動画が作れてしまいます。便利です。
とは言っても、aviutilもバッチ処理あるんでそこそこ自動化できたりはしますが。