GeoLatent: Geometry-Guided Latent Structuring with Routed Optimization for 3D Reasoning
Abstractの概要
GeoLatentは、位置、方向、大域的幾何学に対する分解された潜在表現を改善することにより、視覚言語モデルにおける3次元空間推論に対処します。本論文では、先行する幾何教師あり潜在手法における2つの限界として、大域的幾何状態が冗長な表現へと縮退する可能性がある点と、下流の回答予測が画像トークンへの直接アクセスを通じて潜在変数を迂回する可能性がある点を特定しています。これらの問題に対処するため、著者らは共通幾何と残差変動を分離するCommon-Residual Geometry Alignment（CR-GEO）と、完全なアテンションを復元する前に回答に関連する視覚情報を一時的に潜在経路へと強制的に通過させるルーティング最適化スケジュールを導入しています。本研究では、ベンチマーク精度と、表現の多様性、潜在変数の利用度、視覚的接地に関するメカニズム的証拠の双方を評価しています。
新規性
主な新規性は、3次元推論のための分解された空間潜在フレームワーク内において、CR-GEOとルーティング最適化を組み合わせた点にあります。幾何学的教師を追加するだけでなく、本手法は大域的幾何潜在変数における冗長性を明示的に対象とし、回答学習中に潜在中間表現が実際に使用されているかを検証します。
成果
GeoLatentは、対応する比較において幾何表現の実効ランクを1.00から3.87へと向上させ、冗長性が大幅に低減されたことを示しました。SPAR-Benchで73.0%、SPBenchで72.1%を達成し、両ベンチマークにおいて報告されているGeoAnchorの結果を上回りました。また介入結果からは、ボトルネック段階で潜在読み出しへの強い依存が示される一方、復元されたモデルは利用可能な潜在媒介経路を維持しつつ画像エビデンスへの強い依存を保っていることが示されています。
論文の注目点
- CR-GEOは大域的幾何教師を再構成し、集合レベルで共有幾何を整列させるとともに、個々のGEO状態が相補的な残差情報をエンコードするように促します。
- ルーティング最適化は、結合、ボトルネック、復元の各段階を用いて、直接的な画像アクセスを恒久的に排除することなく、潜在変数を介した回答学習を促進します。
- 本論文は、実効ランクの測定、潜在読み出し介入、画像のブランク化またはミスマッチテストなどの診断分析とベンチマーク向上の両方によって主張を裏付けています。