論文の概要: SpaR3D-MoE: Adaptive 3D Spatial Reasoning from Sparse Views Meets Geometry-Inductive Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2607.06620v1
• Date: Tue, 07 Jul 2026 09:27:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.156537
• Title: SpaR3D-MoE: Adaptive 3D Spatial Reasoning from Sparse Views Meets Geometry-Inductive Mixture-of-Experts
• Title（参考訳）: SpaR3D-MoE:幾何-帰納的混合を伴うスパースビューからの適応的3次元空間推論
• Abstract要約: SpaR3DMoEは、粗いRGB入力のみから幾何学的認識機能を備えたMLLMによる適応的空間推論を可能にするエンドツーエンドのフレームワークである。
• 参考スコア（独自算出の注目度）: 9.401672754315614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Multimodal Large Language Models (MLLMs) struggle to bridge the representational gap between 2D semantic understanding and 3D spatial geometry. Existing 3D-aware models either rely on costly 3D-specific data or utilize RGB-only inputs with heuristic sampling and monolithic, shallow fusion, which respectively disrupt essential spatiotemporal connectivity and induce modality contention across diverse spatial tasks. To overcome these bottlenecks, we introduce SpaR3D-MoE, an end-to-end framework that enables adaptive spatial reasoning by equipping MLLMs with geometry-aware capabilities from only sparse RGB inputs. First, we propose an adaptive spatiotemporal manifold sampling mechanism that constructs a geometry-aware spatiotemporal graph to extract informative keyframes, effectively mitigating sequence redundancy while preserving the scene's topological connectivity. Second, we introduce the heterogeneous geometry-inductive Mixture-of-Experts driven by an instruction-pose aware router, which adaptively routes multimodal tokens to specialized experts, resolving the cross-modal contention inherent in monolithic fusion. Extensive experiments on VSI-Bench, ScanQA, and SQA3D demonstrate that our method achieves state-of-the-art performance. Notably, SpaR3D-MoE achieves the highest average score of 63.5 on VSI-Bench, outperforming the strongest baseline by 7.8 absolute points, alongside relative improvements of 35.4% and 51.4% in Route Plan and Relative Direction tasks, respectively.
• Abstract（参考訳）: 最近のMultimodal Large Language Models (MLLM)は、2次元意味理解と3次元空間幾何学の間の表現的ギャップを埋めるのに苦労している。 既存の3D認識モデルは、コストのかかる3Dデータに頼るか、RGBのみの入力をヒューリスティックサンプリングとモノリシックな浅層融合で利用する。 これらのボトルネックを克服するために,SpaR3D-MoEを導入する。これは,疎RGB入力のみからの幾何認識機能を備えたMLLMを組み込むことで,適応的な空間推論を可能にするエンドツーエンドフレームワークである。 まず,図形対応の時空間グラフを構築して情報的キーフレームを抽出し,シーンのトポロジ的接続性を維持しつつシーケンスの冗長性を効果的に緩和する適応時空間モデルサンプリング機構を提案する。 第2に,マルチモーダルトークンを特殊専門家に適応的にルーティングし,モノリシック核融合に固有のクロスモーダル競合を解消する命令目的対応ルータによって駆動されるヘテロジニアスな幾何誘導型混合器を導入する。 VSI-Bench, ScanQA, SQA3Dの大規模実験により, 本手法が最先端の性能を実現することを示す。 特に、SpaR3D-MoEはVSI-Benchで平均スコア63.5に達し、ルートプランとリレーティブディレクティブのタスクでそれぞれ35.4%と51.4%の相対的な改善とともに、最強のベースラインを7.8ポイント上回っている。

関連論文リスト

• Robust structure from motion for aerial-ground images via detector-free feature matching and multi-view track refinement [15.28970239781579]
  地上画像からの総合的な3次元再構成は,高精度な都市3次元モデル作成に不可欠である。 本研究は、回転ロバスト検出器レスマッチングネットワークと多視点トラックリファインメントを併用して、運動からのインクリメンタル構造(ISfM)を提案する。 実地における実際のデータセットを用いて,提案手法がLoFTRと比較して,AUCの5ポーズ誤差を93.9%改善することを示した。
  論文  参考訳（メタデータ） (2026-08-15T14:16:02Z)
• Reinforcing Dual-Path Reasoning in Spatial Vision Language Models [113.86271063627782]
  本稿では,空間的VLMにLOR(Language-Only Reasoning)とDTR(Detect-Then-Reason)の2つの相補的推論経路を持つ統一的なフレームワークを提案する。 様々な空間ベンチマークにおいて、SR-REALは空間的VLMベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2026-06-16T05:32:39Z)
• Enhancing MLLM Spatial Understanding via Active 3D Scene Exploration for Multi-Perspective Reasoning [10.542346290671114]
  明示的な3次元再構成を基礎としたビジュアル・チェーン・オブ・ソート・メカニズムを導入したテクスティングフリーなフレームワークを提案する。 このフレームワークは、3DSRBenchやRel3Dといった主要なベンチマークにおいて、特別な空間モデルや汎用MLLMよりも優れている。
  論文  参考訳（メタデータ） (2026-04-08T06:47:55Z)
• Demo-Pose: Depth-Monocular Modality Fusion For Object Pose Estimation [5.466547563815996]
  本稿では,RGB-D入力からのカテゴリレベルの9-DoFポーズ推定の課題をCADモデルに頼らずに解決する。 深度に基づくグラフ畳み込み表現とセマンティック特徴を融合したハイブリッドアーキテクチャであるDeMo-Poseを提案する。 提案手法は,オブジェクトカテゴリ間のリアルタイム推論を実現し,最先端の手法を大幅に改善する。
  論文  参考訳（メタデータ） (2026-03-29T05:58:04Z)
• GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
  このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。 既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。 本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
  論文  参考訳（メタデータ） (2026-03-17T12:43:48Z)
• Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence [78.1406635199656]
  Holi-Spatialは、人間の介入なしに生のビデオ入力から構築された、初めて完全に自動化され、大規模で、空間対応のマルチモーダルデータセットである。 Holi-Spatial-4Mは、12K最適化された3DGSシーン、1.3Mの2Dマスク、320Kの3Dバウンディングボックス、320Kのインスタンスキャプション、1.2Mの3Dグラウンドインスタンス、1.2Mの空間QAペアを含む、最初の大規模で高品質な3Dセマンティックデータセットである。
  論文  参考訳（メタデータ） (2026-03-08T14:49:20Z)
• SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs [21.891285551179365]
  Spherical Coordinate-based Positional Embedding (SoPE)を紹介する。 本手法は,3次元球面座標空間に点-クラウドトークンのインデックスをマッピングし,空間位置と方向角の統一モデリングを可能にする。 この定式化は、点クラウドデータの固有の幾何学的構造を保持し、空間的認識を高め、マルチモーダル学習のためのより一貫性があり表現力のある幾何学的表現をもたらす。
  論文  参考訳（メタデータ） (2026-02-26T07:42:15Z)
• Robust Mesh Saliency GT Acquisition in VR via View Cone Sampling and Geometric Smoothing [59.12032628787018]
  バーチャルリアリティー(VR)における人中心視覚モデリングには3次元メッシュサリエンシ基底真理が不可欠である 現在のVRアイトラッキングパイプラインは、単一線サンプリングとユークリッドのスムース化に依存しており、テクスチャの注意を喚起し、ギャップをまたいだ信号の漏洩を引き起こす。 本稿では,これらの制約に対処する頑健な枠組みを提案する。
  論文  参考訳（メタデータ） (2026-01-06T05:20:12Z)
• SpatialActor: Exploring Disentangled Spatial Representations for Robust Robotic Manipulation [63.48859753472547]
  SpaceActorは、意味論と幾何学を明確に分離する堅牢なロボット操作のためのフレームワークである。 RLBenchの87.4%で最先端のパフォーマンスを達成し、ノイズの異なる条件下では13.9%から19.4%改善している。
  論文  参考訳（メタデータ） (2025-11-12T18:59:08Z)
• H3R: Hybrid Multi-view Correspondence for Generalizable 3D Reconstruction [39.22287224290769]
  H3Rは、潜在融合と注目に基づく機能集約を統合するハイブリッドフレームワークである。 両パラダイムを統合することで,既存手法よりも2$times$高速に収束しながら,一般化が促進される。 本手法は,ロバストなクロスデータセットの一般化を実証しながら,可変数および高分解能な入力ビューをサポートする。
  論文  参考訳（メタデータ） (2025-08-05T05:56:30Z)
• SeqAffordSplat: Scene-level Sequential Affordance Reasoning on 3D Gaussian Splatting [85.87902260102652]
  本稿では, 連続3次元ガウシアン・アフラマンス推論の課題について紹介する。 次に,SeqSplatNetを提案する。SqSplatNetは,命令を直接3Dアベイランスマスクのシーケンスにマッピングするエンドツーエンドフレームワークである。 本手法は,1段階のインタラクションから,シーンレベルでの複雑なシーケンシャルなタスクへの可利用性推論を効果的に向上させる。
  論文  参考訳（メタデータ） (2025-07-31T17:56:55Z)
• Cross-Modal Geometric Hierarchy Fusion: An Implicit-Submap Driven Framework for Resilient 3D Place Recognition [9.411542547451193]
  本稿では,密度に依存しない幾何学的推論により3次元位置認識を再定義するフレームワークを提案する。 具体的には、元のシーンポイント雲密度の干渉に免疫する弾性点に基づく暗黙の3次元表現を導入する。 これら2種類の情報を活用することで,鳥眼視と3Dセグメントの両視点から幾何学的情報を融合する記述子を得る。
  論文  参考訳（メタデータ） (2025-06-17T07:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。