間違っていた
テンプレートマッチングの計算部分が、むしろこれで動いていたほうがおかしい、というくらい間違っていた。
直すと、上のＣＧ画像での特徴点追跡がうまくいった。
これで復元した結果。
早速、実写で試してみた。画像も特徴点が出やすいよう簡単なものを光沢のないマット氏に印刷してやってみた。
まだカメラのレンズ補正はやってません。
こんなかんじに丸めて撮影。
復元結果。
当てはめ結果。
重みつき因子分解法だけど、反復計算途中でおかしな結果になって、うまくいかない場合が多いです。
計算途中で悪条件になって行列のランクが落ちているぽい。一気に全体を最適化するんじゃなくて
[1]のように、フレーム間で逐次的に、確実に信頼できる点情報からカメラ位置を交互に反復推定する方法のほうが確実かもしれない。
参考：
[1]動画像からの三次元復元に基づく湾曲した紙面のビデオモザイキング,http://yokoya.aist-nara.ac.jp/~tomoka-s/videomosaic3d/index.html
