論文の概要: Lie Routing Vision Language Models for View-Robust 3D Understanding

• arxiv url: http://arxiv.org/abs/2611.02306v1
• Date: Sun, 01 Nov 2026 23:56:37 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:17:05.855214
• Title: Lie Routing Vision Language Models for View-Robust 3D Understanding
• Title（参考訳）: ビューロバスト3次元理解のためのリールーティングビジョン言語モデル
• Abstract要約: ビューロバストな3D理解のためのLieルーティングフレームワークLieVLMを紹介する。 Lieルーティングは、プロジェクションされた機能にローカル$mathrmSO(3)$変換を適用することで、視覚表現に適応する。 3次元キャプション、接地、検出、空間推論の実験は、加算核融合よりも一貫した改善を示した。
• 参考スコア（独自算出の注目度）: 58.52053229072666
• License:
• Abstract: Multimodal Large Language Models (MLLMs) have made substantial progress in 3D scene understanding from multi-view RGB observations. Yet a fixed object and query can elicit inconsistent target-related responses across camera viewpoints, a phenomenon we characterize as viewpoint-induced semantic drift. We introduce LieVLM, a Lie routing framework for view-robust 3D understanding. Motivated by the rotational component of viewpoint change, Lie routing adapts visual representations by applying local $\mathrm{SO}(3)$ transformations to projected features within learned three-dimensional subspaces. Geometry tokens extracted by VGGT predict local rotation parameters and channel-wise routing coefficients. A closed-form Padé--Cayley map transforms projected visual features, whose identity-relative corrections are projected back and gated into the original visual and geometry features. This design retains the pretrained semantic and direct spatial context while learning view-dependent feature adjustments. Experiments on 3D captioning, grounding, detection, and spatial reasoning show consistent improvements over additive fusion across training scales and backbones. Controlled ablations examine the roles of geometric conditioning and transformation structure. Viewpoint analyses further reveal systematic variation in the predicted routing states alongside more localized target responses and stronger task performance across viewpoint changes.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は,多視点RGB観測から3次元シーン理解において大きく進歩している。 しかし、固定オブジェクトとクエリーは、カメラ視点にまたがる不整合なターゲット関連応答を引き出すことができ、これは視点による意味的ドリフトとして特徴付けられる現象である。 ビューロバストな3D理解のためのLieルーティングフレームワークLieVLMを紹介する。 視点変化の回転成分によって動機づけられたリールーティングは、学習された3次元部分空間内の投影された特徴に局所$\mathrm{SO}(3)$変換を適用することで視覚表現に適応する。 VGGTによって抽出された幾何トークンは、局所的な回転パラメータとチャネル回りのルーティング係数を予測する。 クローズド形式のパデ-ケイリー写像は投影された視覚的特徴を変換し、そのアイデンティティ相対的補正は元の視覚的特徴と幾何学的特徴に投影される。 このデザインは、ビューに依存した特徴調整を学習しながら、事前訓練された意味と直接空間コンテキストを保持します。 3次元キャプション、接地、検出、空間的推論の実験は、トレーニングスケールとバックボーンをまたいだ加算核融合よりも一貫した改善を示す。 制御されたアブレーションは、幾何学的条件付けと変換構造の役割を調べる。 視点分析により、より局所的なターゲット応答と視点変化によるタスクパフォーマンスの強化とともに、予測されたルーティング状態の体系的変動が明らかにされる。

関連論文リスト

• RelationVGGT: Visual Geometry Transformers for 3D Spatial Relation Segmentation [60.646139728534195]
  フィードフォワードでポーズフリーなマルチビュー設定で3次元空間関係のセグメンテーションを定式化する。 視覚基盤モデルから意味的特徴と3次元幾何学基礎モデルからの幾何認識表現を統合する新しいフィードフォワードフレームワークであるRelationVGGTを提案する。
  論文  参考訳（メタデータ） (2026-10-01T03:00:27Z)
• GeoForward: Geometry-Guided Cross-View Alignment for Feedforward 3D Gaussian Splatting [11.512888199820368]
  我々は3次元再構成のための新しいパラダイムである textbfGeometry-Conditioned Feedforward Reconstruction を提案する。 計量幾何学は、3D表現が形成される前に、クロスビュー対応を確立する。 GeoForwardは、比較手法の中で、最小のクロスカメラ深度一致誤差とチャンファー距離を達成している。
  論文  参考訳（メタデータ） (2026-09-28T15:14:48Z)
• Geometry-Grounded Unified 3D Perception for Autonomous Driving [36.11730832045922]
  カメラベースの自律運転認識には、同期マルチカメラストリーム間のメートル法3D構造を保存する共有表現が必要である。 本稿では、VGGTの再構成指向の潜伏を校正・ストリーミング駆動シーンに適応させる、幾何グラウンドの統一3次元知覚フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-13T12:17:50Z)
• VLRC: Vision-Language Reprojection Consistency as a scalable signal for better feed-forward 3D pretraining [8.146936489399293]
  Vision-Language Reprojection Consistency (VLRC)は、凍結した視覚言語表現をセマンティックなマルチビュー監視として利用する。 VLRCは、自己教師付き単分子再構成と教師付き前向きフィードフォワードモデルの両方とシームレスに統合する。 室内および屋外のベンチマーク実験では、3D再構成精度とゼロショットオープンな3Dセマンティックセマンティックセグメンテーションが一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-07-02T18:49:34Z)
• IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation [76.36174247570716]
  ポーズレス多視点画像から連続的かつ一貫性のある幾何を暗黙的にモデル化するインプリシトビジュアル幾何変換器IVGTを提案する。 IVGTは標準座標系で連続的なニューラルネットワークシーン表現を学習し、任意の3D位置での連続的な空間クエリをサポートする。 連続的かつコヒーレントな表面形状の直接抽出を可能にし、任意の視点からRGB画像、深度マップ、表面正規写像のレンダリングを可能にする。
  論文  参考訳（メタデータ） (2026-05-15T17:59:57Z)
• SegMASt3R: Geometry Grounded Segment Matching [23.257530861472656]
  我々は3次元基礎モデルの空間的理解を活用して,広義のセグメントマッチングに取り組む。 本稿では,これら3次元基礎モデルの帰納バイアスを利用して,最大180度の視点変化回転で画像対間のセグメントをマッチングするアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-10-06T17:31:32Z)
• Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
  従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。 そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
  論文  参考訳（メタデータ） (2024-07-26T06:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。