恋夜姫のFC2ブログ 2021年09月

無謀な挑戦！　2021 iClone Lip-Sync Animation Contest

2021-09-30 : 土方歳三３Ｄ（試作２） : 編集✍

３０秒で表現するリアルタイム３Dアニメーションのコンテストに応募することにしました。現在、英語版のトーク機能しかなく、日本語による制作は適していない状況ですが、バージョンアップされた機能に慣れる必要もあり、恥をかくついでに挑むことにしました。７月の募集概要には「英語でしか応募を受け付けない」というルールは記載されていなかったので、

(￣▽￣)フ～ン、それなら日本語でやったれ！・・・ということで（オラは奇想天外が大好きな変人の部類ですが、普通に世界の人々は英語を使うワな。残念ながらオラ、英語はヨ～喋れませんからね。無理して使う必要もなしヨとデカくでたわけヨ）、賞とは関係なく、面白半分にやってみようかなといったノリで始めましたが、本格的にやり始めると、もう毎日ヘロヘロのクッタクタに・・・。それでここの「毒吐きブログ」も一時停止状態でした。

まず、以前のバージョンで作っていた殺陣のモーションやモデルの骨組みがＮＥＷバージョンの機能とは一致しない点が多々あり、それを修正するのに８月から９月の前半までかかってしまいました。３Dの歳三君モデルをクチパクさせるにつき、以前も口内を調整しましたが、初期状態の「馬のような角張りデッ歯」は相変わらずで、調整可能な機能や素材が搭載されたものの、それをそのまま使うと変な人相になってしまってNG。画像では口が閉じてる状態なので、あまり目立ちませんが、開けて動かしてみたら(￣▽￣)唇ドス黒いワaaaaahhhhhaaa・・・。おクチをガバガバ開いて発音させると、口の黒さが唇のガクブル振動と一緒に強調されてしまうため、顔キー調整で、少し唇を縮める設定にしたところ、アヒルのおクチのようになってしまいました。

(￣▽￣)なんか「モチ食ってる」みたい・・

な感じの喋り？で、音声の再生速度（メモリを大幅に占めて重い状態）とクチパクが一致しないことが多く、唇が意図せずガクブルするワ（震えて）動作がカクカクするワ（うまく直せない）・・(*´Д｀)オイオイなんじゃこりゃ～？・・みたいな～？　

一方、「英語版のおしゃべり」では辞書付きの便利機能が搭載されたため、従前から装備されている音声スクリプト（セリフ）を読み込んでクチパクさせるオート機能の出来上がりとは雲泥の差なのです。顔や体のモーションキャプチャという機能もあり、スマホと連携することで人間の表情をリアルタイムで３Dモデルに反映できる・・というわけですが、

(￣▽￣)オラの場合、ガラケーのままだし、スマホも持ってないから無理っしょ。

ということで、自力でクチパクを調整するしかないわけですが、表示されている文字が小さくて、どこが母音なのか子音なのかイマイチわからんワ・・・。

こうなると、もとから英語を使わないだけでなく、画像解像度の点でも劣ってるから、４Kキャラの流暢なイングリッシュを使ってドアップで語りかけるオーバージェスチャーに対し、ハナから勝ち目がないワ・・といったところで笑うしかない！

(*´Д｀)英語しゃべりコンテストに参加すること自体、完全に間違いっしょ？　クレイジー？　てなレベル。

さらなる障壁として、僅か２０秒間のセリフのビデオ出力（レンダリング）に、なんと約１時間もかかるという驚愕のノロノロ具合を初めて知ったわけで・・。３Dビデオが出来上がるまで、クチパク動作が音声と合っているのか殆ど確認ができない状態。レンダリングを開始したら長時間待ちの「な～んも確認できんタイム」が必要になるというジレンマで、出力する前にはそれなりに覚悟がいったわけでして、コンテスト応募期限の９月３０日までには満足に調整（訓練）するだけの時間が足りない。

細かく母音と子音を入れて調整しすぎると、クチビルまわりのガクブル強度が激しくなるばかり。逆に感度を弱くすると、「日本人のつぶやき」では、ちょっと見でクチを動かしてるのかどうか、よくわからない・・といった感じ。

５～６回ほどビデオ出力して、(*´Д｀)もう適当でエエワ・・となり、最終段階で殺陣ビデオのラフカット編集を、使い慣れたWindows MovieMakeでセコく始めることにしたのが９月２５日のこと。

ところが、つい最近、MovieMakeのアップデートがあったようで、仕様が若干変化していることに気が付いたものの、まさか、作成した３Dアニメーションビデオを開いたときに「究極のボケナス画面」になるとは予想もしていませんでした。

ビデオのフレームレートが高解像度用の出力設定でも、最新の３Dビデオ用のフレームレートとは異なり、クリアに再現されない・・・≪ ゜д゜≫。

重い３Dアニメーションビデオの出力に時間がかかったとしても、あとのビデオ編集では使い慣れたMovieMakeでチョチョイと切り貼りしてBGMの音入れしてパッパと作ればいいや・・と予定していた思惑が一気にブッ飛んでしまい、

(*´Д｀)やっぱ、もうやめっか～・・・と落ち込んだのが９月２５日の真夜中でした。

が、しかし！「ガクブルのモチッ子トシくん」をそのまま置き去りにするわけにもいかず、他のビデオ制作用ソフトを探して真夜中に即断で購入し、これまた３Dソフト同様、よく使い勝手がわからないまま、(￣▽￣)こんな機能もあるのか～、おもしろ～い！と、ほんとに面白半分で使い勝手を試しながら、３０秒動画を編集してYouTubeヘアップした次第です。

２８日の晩に動画のアップを試みたところ、なかなか先へ進まない・・・というのも、説明文中に「」カギカッコを使っていたからで、それを消すと順調にアップ完了。応募先へ申し込みをする前に要項を見直してみると、「冒頭にコンテスト用の英語表記付きタイトルを入れてください」と・・。

(￣▽￣)「ブラックアヒル唇ガクブルモチ食いトシ君」（以下略称）の発音合わせの遅延と、ビデオ出力の待ちぼうけと、究極のボケナスビデオ編集不能の危機を目の当たりにした衝撃のせいか、うっかり冒頭へ英語表記のタイトルを付けないままビデオをまとめてアップを済ませてしまったので、公開動画を一旦削除し、２９日の早朝に再アップしました。

動画制作の傍ら、最近YouTubeのタロット占い動画にハマっているせいもあり、「ガクブルモチゾー君」調整のうんざり具合から休憩する際には次々と似たような占い動画を見ていた（聴いていた）ところ、「この時期特有の彗星が逆行している期間は、忘れ物を取り戻す期間なんですね」という占い師さんの言葉が、やけにササリまくってリフレイン。まんまそのとおりの展開になりました（恐るべしタロット占い）。

ちなみに、選択したカードからのリーディングでは、何度も「チャレンジ」「前へ進め」「成功」「運命の輪」「豊かなコイン」「勝利」「太陽」「スター」の暗示が出てきて（そういう仕組みなのかな？と疑ってみたりして）、そのほかには「隠者（真実の探求者）」「女教皇」「マジシャン」などが多発し、最も多く登場したのが「ソード（剣）」のカードでした（これはいかにも納得せざるを得ないという感じ）。

殺陣モーションのレイヤー調整はキーのヒトコマ変更を繰り返し（手の位置や刀の位置がズレまくり）、バックグラウンドで邪魔をしてくるＡＩ識別の「絶対固定モーション」に対する格闘もあり、毎回くたばりそうだったので・・。

(￣▽￣)動画もアップしたし、いざ、応募へ！・・と思ったときに猛烈な睡魔が襲ってきて・・

制作過程（WIP）を該当のフォーラムに記載して投稿しようとしたところ、英語のサイトということもあり、翻訳機能が誤作動し、投稿前に不具合を起こして記載した内容が全部消えてしまいました。記載しながら寝オチしては起きて・・を繰り返していたせいもあり、頭がヨ～回らン・・。

(*´ω｀)ねみ～し、もうアカンワ。

ということで、数時間寝たあと、ふと思いつき、使い慣れた自分のブログに記載してからコピペしたほうが楽やな・・となり、「密かにコンテストに応募する」という目論みは見事にブッ飛ぶことに・・。

(￣▽￣)オラも案外、リアルでは「ビビりんぼ（臆病）」なタチなのヨね。

動画のタロット占いを通して、その都度、萎えるモチベを上げていただいたりなんかしてね。

もともとなにかの賞はどうでもよくて、不慣れな３D機能に慣れることが、今後の目的を達成する上で必要不可欠なので、期間に限りがあるということを機に、無理にでも自分をそちらへ持っていこうという「心の声」に従ったわけです。もうダメか・・と言い終わる前にダメじゃない！と振るい立たせて自分に言い聞かせ、その都度、立ちはだかる障壁をブチ壊してきたつもり。

コンテストに応募するにつき、

(￣▽￣)こんなもん、ハナから審査対象外っしょ！

というわけですから、誰にも言わずにやり過ごそうと思っていました。

もとの写真画像を修復し始め、３D制作にとりかかってから現在に至るまで約７年間も費やしてきたので、その経過を振り返る意味でも、コンテストに参加することに意義を感じている次第です。

(￣▽￣)変な日本人が日本語で「３Ｄガクブルモチゾー君」を無理やりワールドデビューさせるという、意外性だけが取り柄（よ～やるワ）。前のバージョンの「トシゾーさんもどき」は今見ると萎えるだけで（なんか目の錯覚なのか、視野がおかしかったみたいで）、その後のバージョン改変後のモデルも、あまり宜しいデキ具合ではなく、現時点では少しマシになった程度なので、多分、結果は「ナンも期待できない」からスルーしてくださいね。いつものように「なんだこりゃ～ひで～な～」かなんか言いながら、笑って見捨てておくんなまし。寛大で優しい皆様が大好きで～す❤

とはいえ一応、真剣です。

「モチゾー君」の刀は無料券でゲットした浪人の剣ですが、これはよく見たら、切っ先が刃こぼれしているだけでなく、納刀の際、鞘が短くてサイズが合いませんでした・・(*´з`)プロが作ってもコレかよと・・（余計な調整必至）。

納刀に関してはYouTubeの「若駒チャンネル（殺陣師）」さんたちが出している動画の解説が最も参考になりました。

実際に真剣で藁を斬ってる人の動画を参考にして、３Dモーションを作りました。そのほかYouTube上では様々な分野の「お師匠さま」が、入れ替わり登場して指導して下さいました。

ゲーム企業などで殺陣モーションを制作する際には、実際の人間のモーションをキャプチャして、AIで認識させる装置などを使うことにより３D制作に反映していることと思いますが、個人による貧乏制作では、せいぜい目視によって認識してから、３Dモデルを手動で少しずつ動かしながら殺陣モーションを形成することしかできません。この作業には、長時間と忍耐が要ります。正直、途中で投げ出したくなりますが、我慢強く調整するうちに、なんとか形になってくるといった感じです。出来上がったとしても、多角度からの視点では全て満足できるものではありません。「所詮は３D人形」というのが顕わになるのが現状です。

ライティングによっても人形臭さがモロに浮き彫りになります。光と陰の照射の違いによって、物体が全く違って見えるので、いったい何を見てるんだろう？・・といった感じで、ときどき目が変なのか、認識が変なのか、錯覚なのか、不思議というより奇妙な感覚に襲われます。

バージョン変更によって肩や肘のボーン（骨組）が減少したので、それによる動作のズレと、３Dモデルの体型の再構築によるサイズの相違が、旧バージョンで作ったモーションを反映させる際に致命的なズレを生じさせ、新たなバージョンで搭載されている「AI認識の絶対モーション（固定モーション）」に対して、任意のレイヤー変更指定が定まらず、キー設定が認識されず、上書きもできずに破棄される挙動が何度も発生したり、酷いときはフリーズしたり、あらぬ方向へ手や腕の位置が勝手に移動されたりすることもあり、これを克服するのは非常に厄介でした。

殺陣モーションはヒトコマ割りの不器用な要領で、フレームを省略しない作りにしたので「実速」に近いと思います。

実際の通称：土方歳三さんは、天然理心流の免許皆伝者ではありませんが、真剣の使い手だったことは確かだと思われます。「刀を持たせてなんぼの人」という感じで、事の善悪（戦や殺傷行為）を抜きにして、単に刀剣術を客観視した場合、３D人形の歳三さんでも刀を振らせると、どことなく活き活きして見えてくるから不思議です。でも、よく見ると、表情は、なんとなく辛そう・・。

旧バージョンiCから新バージョンに自動変換されたプロジェクト（動画の前半）でクチパクシーンを作れなかったのは、なにか辛そうな顔をしていたせいでもありました。その分、新バージョンCCから直接iCへ遷移したモデルのプロジェクト（動画後半部分。下のサムネイル画像）の「モチゾー君」には、威勢よく、それらしく、生意気そうに気張って貰いました。

フィルム用ライトを重ねることで、レトロっぽい粗さと人間臭さが反映され、なによりブラックな唇が誤魔化せるというメリットもありました。３０秒の短い動画の中で時間経過を表現するためにも、夕暮れの真っ赤な炎の場面と、小雨まじりのフロッグ炎の場面に分け、更にそのバックへオーロラパーティクルによる青紫の光を滝のように降り注がせることにより、「いかにも嘘で汚れた世界を誠の旗の勢いで清める」というテーマ感を出してみたつもりです。映像的には本当に暗くてボヤんと汚れた感じになってしまった「モチゾー君」で恐縮です。

(￣▽￣)高精細キャラには太刀打ちできない分、刀剣侍モーションを入れたり、陰影を出す以外にないかなと。

フェイシャルアニメーションもイマイチ適当にしか作れないし、使い勝手が殆どわかっていないので、今後も研究していろいろな要素を反映させようと思います。

日本の侍の所作（モーション）をよく知らない企業開発者のガイジンさんたちに、少しでも本物らしい侍モーションを研究して開発に反映して頂ければ、オラのような貧乏顧客が死ぬほど苦労しなくても簡単に使えることができて嬉しいわけです。貧乏浪人の刀でも、これくらいできるぞ！・・ということで、勝ち目のない戦場には打って付けでもある斬り込み隊長の歳三さん（３Dの「モチゾー君」）に、誰かが頼んだわけでもないのに突撃の任務が与えられたという感じです。無論、自分の制作などはタカが知れてるので、もっと上手に操作表現できる方々によって開発が進めば尚嬉しいなという期待も込めています。なにしろ日本人と欧米人では身振り手振りも違うし、日本語と英語の発音にしても、前後左右が大局的に違うように異なるので、母国語で使用する頻度が高い場合、日本人なら日本語を完璧にAIの３Dモデルに反映させてこそ、「汎用的に広範で使う」ことができるようになり、商品需要も高まるわけですから、英語オンリーで喋る人物表現モデルや欧米人モーションをいくつ提示されても日本人にはピンとこない（使いたいと思わない）のが正直なところです。

と、いうわけで、前置きが長くなりましたが、後段へ記載する制作経過（WIP）を、該当のフォーラムへコピペして、応募を完了する運びとなります。フォーラム用のニックネームは「RenYa（匿名）」となっていますが、正真正銘、ブログ主である恋夜姫本人による単独制作です。他人の手は一切入っていません。

------------------------------------------(以下、フォーラム投稿内容)

2021 iClone Lip-Sync Animation Contest - (覚悟：Brace yourself)　Samurai sword motion　※Script language Japanese

※リップシンク：lip sync
英語で喋って表現するコンテストではありますが、　江戸時代の日本の侍が英語を喋ることはないので、敢えて日本語で喋るシーンを作成しました。

This contest talked in English and it was a thing to express, but made the scene to speak in Japanese daringly as there is not the thing that a Japanese samurai of the Edo era did not speak English.

●独自制作者：RenYa（匿名nickname)　※Japanese

土方歳三オリジナル３Dキャラクター
オリジナル侍刀剣モーション

（３０秒動画編集）

オリジナルデジタルボイス
オリジナルムービーシナリオ
オリジナル BGM

An original producer: RenYa

Toshizo Hijikata original 3D character
Original samurai sword motion

(30 seconds video editing)

Original digital voice
Original movie scenario
Original BGM

▼動画の構成：Constitution of the video

・タイトルアニメーション枠：約１秒
　A title animation frame: About one second

・侍刀剣（殺陣）モーション：約９秒
　Samurai sword motion About nine seconds

・セリフ：２０秒
　Lines ２０ seconds
　↑後ろに透過ロゴ３秒
　It is transmission logo three seconds in the back

▼キャラクター；character
新選組副長　土方歳三
Shinsengumi assistant commander,Toshizo HIJIKATA

（記述：description）

土方歳三（1835年5月5日出生の年）は、新撰組（後期の徳川将軍職期間の特別な警察）のFukucho（副指揮官）でした。

Toshizo HIJIKATA (May 5, 1835 year of birth ) was a Fukucho (assistant commander) of Shinsengumi (a special police force of the late Tokugawa shogunate period).

▼スクリプト言語：日本語（Script language Japanese）

新選組副長：土方歳三（字幕：Subtitles on a cinema screen）
Toshizo Hijikata who leads Shinsengumi military unit in Hakodate war in 1869.

嘘で汚れた世のなかに
The world dirty by a lie.

誠の旗をたてる
But I raise a true flag.

そのために俺は来た
Therefore I came.

覚悟はよいか
Brace yourself.

これは架空の物語ではない
This is not fiction.

ほんものサ
True fact.

◎制作過程 (WIP)

(*´Д｀)悩ましい問題
Seductive problem

・プレビュー画面の速度がデジタルボイスの速度と一致しない
　The speed of the preview screen does not accord with the
speed of the digital voice.

・長時間のレンダリング
　Long-time rendering.

・レンダリング中にバグが発生する不具合
　The malfunction that a bug produces during rendering.

・アプリケーションが開始されるまでの待ち時間が長い
　Waiting time before application being started is long.

※１８６０年代の写真の複製のディテールを調整し、修復を重ねてきましたが、高精細の写真とは違って見劣りします。

※By adjusting the detail of the reproduction of the photograph of the 1860s, I repeated restoration, but look
inferior unlike a high-definition photograph.

▲土方歳三の肖像写真画像カット。１８００年代。

Portrait photograph image of Toshizo Hijikata.1800s (decade).

▼以下はフォーラム貼付用の制作過程（WIP）動画（限定公開）です。
The following is a video (limited exhibition) for forum pasting WIP.

（限定公開動画）

制作過程（WIP用カット）（WIP）誠の旗をたてるBut I raise a true flag.現在のiC7では英語版が主体であり、キャラクターにデジタルボイスの日本語を喋らせたのは２０２１年９月に入ってからのことなので、調整も満足にできず、あまりうまくいきませんでした。フェイシャルモーション用のアプリやスマホは持っていないので、できる...

youtu.be

https://youtu.be/MBHuSvKpj5U

※スクリプト言語：日本語（Script language Japanese）

(*´ω｀)欧米人とは違い、日本人は表情やジェスチャーが貧弱です。
Unlike Westerners, as for the Japanese, an expression and a gesture are poor.

修行をした侍は、特に表情を変えません。
The samurai who trained himself does not change the expression in particular.

▼オリジナルの「デジタルボイス」作成
Original digital voice making.

使用ツール：Use tool
CeVIO Creative Studio

▼オリジナルのＢＧＭ作成
Original BGM making

使用ツール：Use tool
ABILITY Pro

DTMの練習のために作った楽曲の一部です。
It is a part of the musical piece that I made for an exercise of DTM.

▼髪：hair
iClone6の無料素材を、CC1～CC3で改造
I remodel the free material of iClone6 in CC1 - CC3.

▼衣装:Clothes
購入した侍衣装の一部を、CC3で改造
I remodel a part of the samurai clothes which I purchased in CC3.

（コメント：comment）

★(*^-^*)私はiClone7の機能を把握していない素人です。
おそらくこれは無謀なチャレンジです。
I am the amateur that I do not grasp a function of iClone7.
Probably this is a reckless challenge.

実在した土方歳三のオリジナルキャラクター制作を開始してから７年経過した記念として、コンテストに応募しました。
As the memory that passed for seven years after I started original character production of Toshizo Hijikata who existed, I applied for a contest.

(*´ω｀)英語は殆ど喋れません。
I can hardly speak English.

<m(__)m> 大変、申し訳ございません。
審査対象外かもしれません。
Very sorry.
It may be out of an examination object.

※制作に以下のツールを使用したことはありません。
I have not used the following tools for production.
↓
AccuLips・Facial Mocap・ZBrush・Substance Painter・Marvelous Designer・Maya・3ds Max・Unreal Engine・Unity・Blender.

※モーションキャプチャは使っていません。
I cannot use the motion capture.

※スマートフォンも持っていないので、リアルタイムで顔のキャプチャ機能は使っていません。
As I do not have the smartphone either, the capture function of the face is not usable in real time.

※侍刀剣動作はモーションレイヤーの各キーフレームを操作することのみで作成しました。
I made the samurai sword movement only by operating each key to motion layer frame.

▼iC6

▼iC7

▼iC7

■画像修復を含めた全制作過程（2014年5月開始～約7年)
All production processes (2015 - about seven years) including image restoration.

もとの写真画像の被写体が不鮮明であり、斜めに向いていたため、顔や目の歪みを整えるのがとても難しく、長時間を要した。
The subject of the original photograph image was indistinct and it was difficult at all to fix the distortion of face and
eyes and needed long time because I turned diagonally.

使用ツール：Use tool
Picasa

（概要：Summary and time）

▼2015年～2018年

①　１８００年代のモノクロ写真を光源染色で修復（約３年）。
　　I restore monochrome photography of the 1800s by light source dyeing（About three years）.

②　クレイジートークのアプリケーションを使って２Dを３Dへ遷移して調整。
　　It changes and adjusts 2D to 3D using the application of the crazy talk.

③　クレイジートークからキャラクタークリエイターへ遷移して調整。
　　It changes from a crazy talk8.1 to a character creator and regulates it.

▼2019年～2020年11月

④　キャラクタークリエイター1.52からiClone6.53へ遷移して調整。
　　It changes from a character creator1.52 to iClone6.5 and regulates it.

▼2020年12月～2021年6月

⑤　キャラクタークリエイター3にバージョンアップして調整。
　　Upgrade to character creator3 and regulate it.

※④の出来上がりが実像と違っていたので断念し、
②の工程で調整した画像をヘッドショットで再現。

※④As it was different from a real image in the completion, I give it up of this,
②I reproduced the image which I adjusted by a process of this by a head shot.

（支障）
※使用中のWindows8.1（8GB）ではメモリの容量不足のためか、バグが随時発生。
サムネイル保存も真っ黒に表示されてフリーズを繰り返す。

(trouble)
※A bug occurs for capacity lack of the memory at any time in occupied Windows8.1 (8GB).
The thumbnail preservation is displayed by black, too and repeats freeze.

▼2021年8月～9月現在

⑥　キャラクタークリエイター3.43からiClone7.92へ遷移。

⑦　iClone7.92で調整。

※モーション
　iClone6.5で作ったモーションはiClone7.92で自動変換されたが、　旧バージョンCCキャラクターとの骨組みの相違から動作にズレが生じたので、レイヤーモーションを調整。

※motion
The motion that I made in iClone6.5 was converted automatically in iClone7.92, but fine-tuned a layer motion as
a gap occurred for movement from the difference in framework with the old version CC character.

経過は以上です。

That is all in progress.

P.S

❤個人による制作です。
It is the production by the individual.

❤iClone ３Dモデル制作の動機
Motive of the iClone 3D model production.

矛盾の多い史実の解説を目的として、土方歳三の実像を再現する必要があり、長年制作を続けてきました。未熟なスキルしかありませんが、これまでReallusionと共に成長できたことを、とても感謝しています。

For the purpose of the commentary of the historical fact with much contradiction, it was necessary to reproduce a real image of Toshizo Hijikata and continued producing it for many years. There is only an unripe skill, but appreciates that I was able to grow up with Reallusion very much until now.

(^^)/今後もReallusionの発展を期待しています！
I will expect development of Reallusion in future！

-----------------------------------------------（以上、WIP投稿内容）

(´ー｀)９月３０日の応募期限まで、
あと１日と４２時間８分４４秒であることを確認して
コンテスト応募投稿手続きを全て完了。

●ビデオのURL・・・　https://youtu.be/yjcUR244K7o

●制作過程（ＷＩＰ）のURL・・・　https://forum.reallusion.com/495853/2021-iClone-LipSync-Animation-Contest-覚悟：Brace-yourself%E3%80%80Samurai-sword-motion%E3%80%80※Script-language-Japanese

●WIP投稿用スレッドURL・・・https://forum.reallusion.com/Lobby/Event-Contest/iClone-Lip-Sync-Animation-Contest-202107?Update=1