ARToolKit MMD

とりあえずSIFT+RANSACマッチングまで全部自前でできたので
ARぽいことをやろうと思ったけど、認識したマーカーから
カメラの位置を推定する方法が分からない。
実は、これは結構難しい問題らしい。


また、メタセコの3Dキャラクターを表示するのはOpenGL
なんとかできそうだけど、ボーン制御・表情モーフィングを
やろうと思ったら気が遠くなったので諦めた。


というわけでARToolKitを導入することにした。
また、最近はARTK MMDなるものもあって、これを使うと
初音ミクなどのPMDデータやモーションが簡単に再生できるという。
これがオープンソースとはすごすぎる。
この分野は全然知らなかった。技術系もすごいけど
(物理演算で布や髪の計算までしている)、キャラのモデリング
動きを作る職人もすごい。文武両道といった感じだ。


こんな感じでマーカー認識とPMD表示が簡単にできた。
サイズは640x480で3D表示含めて全体で100[msec]程度。
白黒マーカーではなく、テクスチャマーカーで認識する。
SIFTでマッチングをとっているけど、実はSIFT特徴は
アフィン不変ではないので、斜めの傾きに弱く、これ以上、
横からの撮影は認識できない。
また、カメラを動かすとモーションブラーで失敗する。
安いWEBカメラで露光時間が長いためだと思う。