物理ベースビジョン反射解析形状復元光沢推定逆レンダリング
物理ベースのコンピュータビジョンは、光の振る舞いを数理モデル化し、
画像から三次元形状、反射特性、光源環境などを復元する研究分野です。
本研究室では、反射解析、光沢推定、透明物体の認識などに取り組んでいます。
なぜ難しいか
現実世界の光環境は複雑であり、相互反射、サブサーフェス散乱、異方性反射など、
単純なモデルでは捉えきれない現象が多く存在します。
また、逆問題として解くことが多く、解の不定性への対処が必要です。
研究方針
物理的な制約を深層学習に組み込んだハイブリッド手法や、
微分可能レンダリングを活用した最適化ベースの推定手法を研究しています。
評価の考え方
合成データでの定量評価と実データでの定性評価を組み合わせています。
Ground truthの取得が困難な場合は、再レンダリングによる整合性検証を行います。
現在の問い
- 1野外環境や環境光下での反射特性推定
- 2透明・半透明物体を含む三次元形状復元
- 3単一画像からの光源環境推定