三次元形状・構造・見た目の復元
画像からの三次元復元はコンピュータビジョン（CV）研究における主要な課題の1つです。特に近年は、推定されたシーンの形状や見え方が観測に一致するように最適化する手法（微分可能レンダリング、NeuS、3Dガウシアンスプラッティングなど）が一般的に用いられるようになってきました。しかし、対象物体の形状のみならず、枝ぶりなどの構造や、視点位置によって変化するような見た目の推定には、未だたくさんの技術的課題があります。当研究室では、微細な三次元形状、複雑な構造、写実的な見た目などに焦点をあて、挑戦的な対象の三次元復元の基盤となる技術を研究しています。
同次座標系を導入したガウシアンスプラッティング
最近、視点を変えた画像を生成する技術は大きく進歩しており、その中でも3D Gaussian Splatting（3DGS）は、学習が速く、リアルタイムで高品質な描画ができる方法として注目されています。しかし、3DGSは通常の座標系（デカルト座標）に基づいているため、遠くにある物体の表現が苦手であり、特に屋外のような広い空間の再構成では問題となります。本研究では、射影幾何で使われる「同次座標」という考え方を3DGSに取り入れるだけで、シンプルでありながら遠方物体の描画精度が大きく向上することを発見しました。そこで、同次座標を組み込んだ新しい手法「Homogeneous Gaussian Splatting（HoGS）」を提案します。この方法により、近くの物体と遠くの物体を統一的に扱うことができます。HoGSは、射影幾何の考え方を用いることで、特に屋外のような広大な環境において、物体の位置やスケールの変化をうまく扱うことができます。実験の結果、HoGSは近くの物体の描画品質を保ちながら、遠くの物体の再構成精度を大きく向上させることが確認されました。また、従来と同様に高速な学習とリアルタイム描画も可能です。
コードはこちら。
