どんな課題を扱うか
画像の陰影から形を推定するには，照明による明るさの変化を形状と結び付ける必要があります．初期の奥行き推定から求めた面の向きに誤差があると，復元形状にも影響します．
研究の考え方
2光源の明るさをモデル化して初期の奥行きを最適化し，数値微分で面の向きを表す法線を求めます．ランバート反射を仮定した球を使ってRBFネットワークに推定法線と正しい法線の対応を学習させ，補正後の法線から奥行きを再び最適化します．
研究で確かめたこと
出版社が登録したアブストラクトでは，シミュレーションと実際のポリープ内視鏡画像で従来手法と比較した評価が報告されています．この解説は，公開アブストラクトで確認できる手法と評価対象を紹介しています．
応用を考えるときの視点
物理モデルによる初期推定を，学習モデルで補正する構成です．撮像条件に応じた補正の効果と，独立した基準に対する復元形状の精度が評価の軸になります．
元の研究
Recovering Polyp Shape from an Endoscope Image Using Two Light Sources
Usami, Hiroyasu, Iwahori, Yuji, Hanai, Yuki, Kijsirikul, Boonserm, Kasugai, Kunio
International Journal of Software Innovation, 2017 · Vol. 5, No. 2, pp. 33–54