レンダラと関係ないのですが、複数の画像列から3次元座標を復元するプログラムのテストです。


因子分解法という方法を使って、このようないろいろな角度から撮影した2次元の座標データ列が複数フレームあって、
各点がそれぞれのフレーム間で対応付け済みであれば、3次元の座標値とカメラの位置関係が復元できます。

少なくとも3枚あり、撮影条件がよければ(カメラのフォーカス長なんかも既知)うまく復元できるようです。

バニーの例:

2800点×20フレームの場合(こういう画像が20枚)

復元結果

今のところ、テストということで3次元のデータを2次元に落として復元という、条件が良くて比較的簡単な場合なんですが、実際のカメラで撮影した画像からやってみたいところです。
その場合、どうやって特徴点をとるのか、その対応付けはどうするのか?点の隠れがある場合は?という問題は画像処理の話になります。
また、カメラのフォーカス長やレンズ歪みの内部パラメータを調整しないといけません。

参考文献:
[1]因子分解法の数理:http://www.ism.ac.jp/editsec/toukei/pdf/49-1-077.pdf