iPi Desktop MoCap + Kinect 個人的には絶賛だけど、微妙かも･･･

コンパラで10月31日までセール中の iPi Desktop MoCap Express Editionを購入すべきかどうかで、現在フリートライアル版を試用中。
（以下、iPi Desktop MoCapを iPi DMC と略します）

個人的には｢ノンリアルタイム方式｣に大絶賛ですが、キャラクターモーションを付け慣れていない人には、恐らくこれでも苦痛でしょう。普通の人の場合はKinect + MMD or ライブアニメーションで上手くキャプチャ出来るまで繰り返し身体を動かした方が数倍早いです。

また、ツールとしても微妙に未完成な部分が･･･買おうかどうか迷う。

とりあえず、モーションキャプチャデータをアップ

途中6箇所ほど修正かけています(詳細はこのページ中段あたり)
以前ライブアニメーション+Kinectでキャプチャしたものとほぼ同じ動きをしてみたけれど、「非リアルタイム解析」の強みですね。野球のピッチングフォーム、バッティングフォームなど手足がクロスする動きでも、モーキャプツール内でかなりの所まで仕上げられます(数箇所を手動で補正しています)

トラッキングの外れた所のみを後から簡単に修正出来るので、手足のクロスする箇所の解析は優秀です。

あと、辛うじて肩とか頭の動きも追跡できるっぽいです。最初のポーズフィットでコツが必要だったり、後から手動で微調整を行う必要がありますが、なんとか追従してくれている感じです。手首や足首関節は現在のiPi DMCでは無理。後から別ソフトで調整が必要。

iPi DMC 、ここがスゲー

インストールが超簡単。Kinectドライバ同梱。
- Kinectドライバにしては珍しく導入がアッサリできた。
  英語だけど導入手順が図解入りで殆ど迷わない。
- OpenNIのような「2度～3度繰り返しインストールしている内に、気が付いたらインストール成功していた」みたいな不思議体験を経験せずに済む。
  （基本的にOpenNIと同じドライバ。）
- ちなみに PrimeSense NITE(骨格･姿勢認識ライブラリ)はインストールされない(iPi DMCでは使用しない)
  - iPi DMCは一旦深度情報を動画ファイルとしてPCに保存して、そこから独自に解析を行う
  - 録画する動画形式は非圧縮avi。
    1分の録画ファイルに1.7GB程度必要！HDDの必要転送速度は最低限でも23MB/sec必要。IDE接続5400rpmのHDDでは多分間に合わない。(12～15秒程度なら録画出来るが、それ以上はバッファが追いつかない)
  - 注意
    レコーダー部分の作動には、別途DirectShowNet libraryとFFMpegが必要。解析ツール(本体)の作動にはMicrosoft .NET Framework 3.5以降が必要。
モーキャプ撮影用のレコーダー部分はフリー。
- iPi DMC本体をインストールしていないPC環境でも利用可能。Kinectドライバはこのレコーダー部分に付属
  - つまり、ノートPCなどにレコーダーをインストールすれば、狭い部屋から他の部屋に移って録画が可能になる
  - 2002年購入の古いノートにインストールしてみたら、12～3秒までならエラー無く録画可能だった。(PentiumM 1.7Ghz、HDD 5400rpm、転送速度20Mb/secとややスペック不足)
    これで広い部屋に移ってモーキャプが可能になった！
深度情報を元に3D映像が見れる
- Kinectで撮影した動画を、以下な感じに表現してくれます。
  
  ▲自分の部屋の3Dデータ。初めて見る時は感動する。
  　ちなみにキャリブレーション用に最初の2～3秒は人体の映っていない背景のみのデータを撮影しておく必要があります。
  
  ▲キャプチャーエリアに立ってみた所。前後左右、障害物だらけ。
  こんな狭いエリアでモーキャプやれば、精度落ちますわな。
  障害物や壁と手足の距離が10cm程度まで近付くと、それだけでトラッキングが外れます(MMDやLAでも同様)
  
  ▲ノートPCにレコーダーだけを入れて、広い部屋に移動。
  誤トラッキングがかなり減りました！
  - 余談になるけど、ここで解った事！
    iPi DMCの場合、正確にトラッキング出来る距離にある被写体は、緑か青で表示される。赤い部分は近すぎ or 遠すぎ。黄色で表示される部分はトラッキング不能。
    やっぱ6畳の部屋はKinectモーキャプにはやや狭い。最低でも8畳の部屋が望ましい。
撮影データを元に解析する･解析途中で停止･データ再調整＆再解析が可能。
やり直し＆微調整が楽チン！
- ▲クリックで拡大
  トラッキングが外れた所で、誤検出しているBoneのみを調整し、1フレームだけ手動で解析しなおして、自動解析を再開する事が可能。1フレーム修正すれば前後10～20フレームはほぼ修正できる。便利です。
  ※修正にはそれなりのスキルが必要。人間の関節がどのように回転するか、どの関節でトラッキングエラーが起きているかを判断出来ない人には難しい。またハンドルが小さいので慣れも必要。
トラッキング解析にはちょっと時間がかかる
- ちなみにトラッキング解析にはGPUを利用しています。NVIDIA9600GTだと1000フレームの解析に15～30分必要。(複雑なポーズ取ると解析に時間がかかる)
- 1000フレームの動画を、誤トラッキングした所を手動で微調整しながら解析すると、1～2時間かかります。それでも深度情報の3Dデータに重ねながらポージング出来る＆半自動なので、他ツール使うより全然楽。
PoserのBVH形式に書き出し可能
- エキスポート方法
  
  ▲Poserで利用したい場合は、「3D MAX Biped 形式」で書き出す。
- 胸の部分のみ、テキストの書き換えが必要
  　胴体の関節が一個多く、
  　「Chest→Chest2→Chest3」となっているが、ここを
  　「abdomen→Chest→Chest3」とかに書き換えればOK。
  　（別に書き換えなくても読み込める）
- 足首のデータを読み込んでくれない
  　他のデータでもそうだっけ？
  　これも警告は出るが、BVH自体は読み込めるので気にしない事にする。

iPi DMC +Kinect、ここが残念

解析の精度自体は、PrimeSense NITE (MMDやLAで解析する方法)と変わらない。
- 足の接地や座った時のトラッキングは iPi DMCの方が優秀に感じます。
  でも肩や肘関節のトラッキングはPrimeSense NITEの方が上っぽい。
- あたりまえだけど、Kinect 1台で映る範囲でしかトラッキング出来ない。
  (カメラから隠れた手足のトラッキングは無理)
- 体の影に隠れた手足のトラッキングは、どうあがいてもこのツールでは修正は無理(修正しても自動解析中にスグ外れる)。その辺は別途3DCGソフトに渡して編集する方が早い。
手首･足首は追従しない。顔･肩の動きは半手作業？(コツが必要)
- 肩、頭の動きは正確にトラッキングしてくれない。最初の「Refit Pose」時のポーズをかなり正確に合わせると、時々追従する。
  - 解析途中で一時中断し、目的の関節を手動で調整してやると、そこから上手い具合に追従してくれる事もある。微妙。
  - 手首･足首は手動で調整してもその後の自動解析で初期値に修正されてしまう。未対応。
- この辺も自動で簡単にトラッキングしてくれる事を期待していたんですが無理でした･･･。今後のアップデートで追従してくれないかな
- ちなみに腰をクネクネさせる動きはトラッキング可能。体幹部分の動きの検出はMMDやLAよりかなり上です（これもRefit Pose時の併せ方で上手く行く時･行かない時がある）
インポート･エキスポートの対応フォーマットが、思ったより少なかった。
- bip形式やc3d形式も入出力対応してるんじゃないかと期待したけど、基本bvhとfbxのみだった。。。
Undo、Redoが無い！
- トラッキングが外れたフレームでポージング付け直しの最中、これに困った。Ctrl+Z出来ないとか今時ありえない･･･
数値入力出来ない
- 関節の角度を調整したい時、全てマウスで操作する必要があり、微妙な角度調整が難しい。Poserみたいな数値入力やダイヤル調整が欲しい。