Fugu-MT 論文翻訳(概要): Let Geometry GUIDE: Layer-wise Unrolling of Geometric Priors in Multimodal LLMs

論文の概要: Let Geometry GUIDE: Layer-wise Unrolling of Geometric Priors in Multimodal LLMs

arxiv url: http://arxiv.org/abs/2604.05695v1
Date: Tue, 07 Apr 2026 10:45:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-08 17:42:09.773322
Title: Let Geometry GUIDE: Layer-wise Unrolling of Geometric Priors in Multimodal LLMs
Title（参考訳）: 幾何GUIDE:多モードLLMにおける幾何事前の階層的アンロール
Authors: Chongyu Wang, Ting Huang, Chunyu Sun, Xinyu Ning, Di Wang, Hao Tang,
Abstract要約: GUIDE(Geometric Unrolling Inside MLLM Early-layers)は、プログレッシブな幾何学的事前注入フレームワークである。本研究では,現在の意味論に基づいて必要な空間的手がかりを抽出できる文脈認識ゲーティングを提案する。
参考スコア（独自算出の注目度）: 13.627465963609936
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal Large Language Models (MLLMs) have achieved remarkable progress in 2D visual tasks but still exhibit limited physical spatial awareness when processing real-world visual streams. Recently, feed-forward geometric foundation models, which implicitly extract geometric priors, have provided a new pathway to address this issue. However, existing geometry-aware MLLMs are predominantly constrained by the paradigm of single deep-layer extraction and input-level fusion. This flattened fusion leads to the loss of local geometric details and causes semantic mismatches in the early layers. To break this bottleneck, we propose GUIDE (Geometric Unrolling Inside MLLM Early-layers), a progressive geometric priors injection framework. GUIDE performs multi-level sampling within the geometric encoder, comprehensively capturing multi-granularity features ranging from local edges to global topologies. Subsequently, we rigorously align and fuse these multi-level geometric priors step-by-step with the early layers of the MLLM. Building upon the injection of multi-granularity geometric information, this design guides the model to progressively learn the 2D-to-3D transitional process. Furthermore, we introduce a context-aware gating that enables the model to fetch requisite spatial cues based on current semantics, thereby maximizing the utilization efficiency of spatial priors and effectively suppressing redundant geometric noise. Extensive experiments demonstrate that GUIDE significantly outperforms existing baselines on multiple complex spatial reasoning and perception tasks, establishing a novel paradigm for integrating 3D geometric priors into large models.
Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、2次元視覚タスクにおいて顕著な進歩を遂げているが、実世界の視覚ストリームを処理する際には、空間的認識が限られている。近年,暗黙的に幾何学的先行点を抽出するフィードフォワード幾何学的基礎モデルが,この問題に対処するための新たな経路を提供している。しかし、既存の幾何対応MLLMは、単一深層抽出と入力レベル融合のパラダイムに大きく制約されている。この平坦な融合は、局所的な幾何学的詳細が失われ、初期の層における意味的なミスマッチを引き起こす。このボトルネックを解消するために,先進的な幾何学的事前注入フレームワークであるGUIDE(Geometric Unrolling Inside MLLM Early-layers)を提案する。 GUIDEは幾何エンコーダ内で多レベルサンプリングを行い、局所的なエッジからグローバルなトポロジまで多彩な特徴を包括的にキャプチャする。その後、MLLMの初期層と、これらの多層幾何学的先行を段階的に整合させて融合する。この設計は、多粒度幾何学情報の注入に基づいて、2D-to-3D遷移過程を段階的に学習するモデルを導出する。さらに,現状のセマンティクスに基づいて所要の空間的手がかりを抽出し,空間的先行値の利用効率を最大化し,冗長な幾何学的ノイズを効果的に抑制できるコンテキスト認識ゲーティングを導入する。大規模な実験により、GUIDEは複数の複雑な空間的推論および知覚タスクにおいて既存のベースラインを大幅に上回っており、3次元幾何学的事前を大きなモデルに統合するための新しいパラダイムが確立されている。

関連論文リスト

SpatialStack: Layered Geometry-Language Fusion for 3D VLM Spatial Reasoning [22.547972947051765]
大規模な視覚言語モデル(VLM)は、まだ信頼性の高い3次元空間推論に苦戦している。本研究では,階層的な融合フレームワークであるSpatialStackを提案する。この枠組みに基づいて,複数次元空間推論ベンチマークにおける最先端性能を実現するモデル VLM-SpatialStack を開発した。
論文参考訳（メタデータ） (2026-03-28T22:49:40Z)
Make Geometry Matter for Spatial Reasoning [62.61667611352403]
視覚言語モデル(VLM)は、強いイメージと映像理解を実現するが、静的シーンとダイナミックビデオの両方で空間的推論を行う能力は限られている。近年の進歩は、事前訓練された3次元基礎モデルから幾何学トークンをVLMに注入することで、この制限に対処しようとしている。我々は、VLMが幾何トークンで積極的に推論するように促すことにより、幾何学的問題を作るためのフレームワークGeoSRを提案する。
論文参考訳（メタデータ） (2026-03-27T17:45:12Z)
GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
論文参考訳（メタデータ） (2026-03-17T12:43:48Z)
GLaD: Geometric Latent Distillation for Vision-Language-Action Models [106.53332923530245]
GLaDは、知識蒸留による事前学習中に3次元の幾何学的先行を組み込んだ幾何学的認識型視覚・言語・アクション(VLA)フレームワークである。 GLaDは4つのLIBEROタスクスイートの平均成功率は94.1%で、同じ事前トレーニングデータを使用するUniVLA(92.5%)を上回っている。
論文参考訳（メタデータ） (2025-12-10T13:07:27Z)
GACO-CAD: Geometry-Augmented and Conciseness-Optimized CAD Model Generation from Single Image [11.612167656421079]
マルチモーダル大言語モデル(MLLM)は2次元画像から3次元幾何学を正確に推定するのに依然として苦労している。本稿では,新しい2段階後学習フレームワークGACO-CADを紹介する。 DeepCADとFusion360データセットの実験は、GACO-CADが最先端のパフォーマンスを達成することを示している。
論文参考訳（メタデータ） (2025-10-20T04:57:20Z)
Vid-LLM: A Compact Video-based 3D Multimodal LLM with Reconstruction-Reasoning Synergy [4.1703677379815565]
外部の3Dデータを必要としないビデオ入力を直接処理するビデオベースの3D-MLLMであるVid-LLMを提案する。本手法では, 偏見の知覚性能を向上させるために, 幾何先行法を直接的に用いた。各種ベンチマーク実験により,3次元質問応答,3次元キャプション,3次元視覚的接地作業において,本手法の有効性が検証された。
論文参考訳（メタデータ） (2025-09-29T07:34:18Z)
Seeing 3D Through 2D Lenses: 3D Few-Shot Class-Incremental Learning via Cross-Modal Geometric Rectification [59.17489431187807]
本稿では,CLIPの階層的空間意味論を活用することで3次元幾何学的忠実度を高めるフレームワークを提案する。本手法は3次元のクラスインクリメンタル学習を著しく改善し,テクスチャバイアスに対して優れた幾何コヒーレンスとロバスト性を実現する。
論文参考訳（メタデータ） (2025-09-18T13:45:08Z)
GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
論文参考訳（メタデータ） (2024-06-21T17:49:31Z)
GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
論文参考訳（メタデータ） (2024-03-18T17:50:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。