Artic-O: End-to-End Articulated Object Reconstruction via Latent Geometry Learning
Abstractの概要
Artic-Oは、スパースな複数状態の画像から関節を持つ物体を再構成するための、エンドツーエンドのフィードフォワード手法である。このモデルは、2つの関節状態からの観測結果を事前学習済みの潜在ジオメトリ空間にマッピングし、そこで固定されたフロー・マッチング・デコーダが、オクルージョンされた構造を含む完全な点群を再構成する。その後、画像トークン、ジオメトリの潜在表現、デコーダの特徴量を組み合わせ、同じパイプライン内で可動パーツのセグメンテーションと関節パラメータを予測する。本論文では、主にPartNet-Mobilityを用いてこの手法を評価し、実際のスマートフォンで撮影した画像での定性テストや、推論時のみ適用するマルチパーツ物体への拡張についても報告している。
新規性
主な新規性は、事後的に関節動作を復元する段階的なパイプラインを使用するのではなく、完全なジオメトリ再構成、可動パーツのセグメンテーション、および関節の推定を、単一のフィードフォワード潜在ジオメトリ・フレームワークに統合した点にある。また、この手法は、ジオメトリの事前知識として固定された事前学習済みフロー・マッチング形状デコーダを使用し、画像に基づいたパーツメモリ、ジオメトリから関節へのカリキュラム学習、および分離された2パストレーニングを併用している点でも特徴的である。
成果
PartNet-Mobilityデータセットにおいて、Artic-OはLARMよりもジオメトリの再構成精度を向上させ、Chamfer距離を0.019から0.017に短縮し、F値を93.8%から95.4%に改善させた。推論時間が物体あたり約0.32秒（LARMの約9分に対して）と大幅に短いにもかかわらず、軸角度成功率96.0%、軸原点成功率98.0%、モーション範囲成功率93.6%など、報告されたほとんどの指標においてLARMと同等以上の推定性能を達成している。さらに本論文では、定性的な実世界の再構成や、再学習なしでLARMを上回ったマルチパーツ再構成の指標も報告している。
論文の注目点
- Artic-Oは、スパースな2状態の画像から、完全なジオメトリ、可動パーツのマスク、および関節パラメータを1つのエンドツーエンドのフィードフォワード・パイプラインで直接再構成する。
- 固定された事前学習済みフロー・マッチング・デコーダが潜在的な完全形状の事前知識を提供する一方で、画像に基づいたパーツ推論がジオメトリ再構成とモーションパーツの理解を結びつける。
- 実験により、LARMよりも優れた再構成品質をはるかに低い推論コストで達成できることが示されており、アブレーション研究、定性的な実世界で適用した例、推論時のマルチパーツ拡張も含まれている。