Fugu-MT 論文翻訳(概要): Feeling the Space: Egomotion-Aware Video Representation for Efficient and Accurate 3D Scene Understanding

論文の概要: Feeling the Space: Egomotion-Aware Video Representation for Efficient and Accurate 3D Scene Understanding

arxiv url: http://arxiv.org/abs/2603.17980v1
Date: Wed, 18 Mar 2026 17:42:49 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-19 18:32:57.86674
Title: Feeling the Space: Egomotion-Aware Video Representation for Efficient and Accurate 3D Scene Understanding
Title（参考訳）: Egomotion-Aware Video Representation for Egomotion-Aware Representation for Efficient and Accurate 3D Scene Understanding
Authors: Shuyao Shi, Kang G. Shin,
Abstract要約: 本稿では,感情モダリティデータを用いたMLLM(Large Language Models)を大幅に強化する。運動MLLMは、身体的運動軌跡の視覚的内容のグラウンド化によって、シーン全体にわたる絶対的なスケールと空間的関係を推論することができる。ビデオフレームと明示的な3Dデータに基づく最新技術(SOTA)手法と比較して、Motion-MLLMはオーバーヘッドをはるかに少なく、類似またはそれ以上の精度を示す。
参考スコア（独自算出の注目度）: 9.774606705982874
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent Multimodal Large Language Models (MLLMs) have shown high potential for spatial reasoning within 3D scenes. However, they typically rely on computationally expensive 3D representations like point clouds or reconstructed Bird's-Eye View (BEV) maps, or lack physical grounding to resolve ambiguities in scale and size. This paper significantly enhances MLLMs with egomotion modality data, captured by Inertial Measurement Units (IMUs) concurrently with the video. In particular, we propose a novel framework, called Motion-MLLM, introducing two key components: (1) a cascaded motion-visual keyframe filtering module that leverages both IMU data and visual features to efficiently select a sparse yet representative set of keyframes, and (2) an asymmetric cross-modal fusion module where motion tokens serve as intermediaries that channel egomotion cues and cross-frame visual context into the visual representation. By grounding visual content in physical egomotion trajectories, Motion-MLLM can reason about absolute scale and spatial relationships across the scene. Our extensive evaluation shows that Motion-MLLM makes significant improvements in various tasks related to 3D scene understanding and spatial reasoning. Compared to state-of-the-art (SOTA) methods based on video frames and explicit 3D data, Motion-MLLM exhibits similar or even higher accuracy with significantly less overhead (i.e., 1.40$\times$ and 1.63$\times$ higher cost-effectiveness, respectively).
Abstract（参考訳）: 最近のMLLM(Multimodal Large Language Models)は、3Dシーン内での空間的推論の可能性を示している。しかし、それらは通常、点雲や再構成されたBird's-Eye View (BEV)マップのような計算に高価な3D表現に依存している。 Inertial Measurement Units (IMUs) がビデオと同時撮影し, 移動モーダリティデータを用いたMLLMを著しく向上させる。具体的には,(1)IMUデータと視覚特徴を併用して,疎結合かつ代表的キーフレームの集合を効率的に選択する動き-視覚的キーフレームフィルタリングモジュールと,(2)動きトークンが中間体として機能する非対称な非対称なモーダル融合モジュールの2つのキーコンポーネントを提案する。運動MLLMは、身体的運動軌跡の視覚的内容のグラウンド化によって、シーン全体にわたる絶対的なスケールと空間的関係を推論することができる。広範に評価した結果,3次元シーン理解と空間的推論に関連する様々なタスクにおいて,Motion-MLLMが顕著に改善されていることが示唆された。ビデオフレームと明示的な3Dデータに基づく最先端のSOTA(State-of-the-art)手法と比較すると、Motion-MLLMはオーバーヘッドが大幅に少ない(それぞれ1.40$\times$と1.63$\times$より高いコスト効率)。

関連論文リスト

UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
論文参考訳（メタデータ） (2025-12-03T16:03:18Z)
S$^2$-MLLM: Boosting Spatial Reasoning Capability of MLLMs for 3D Visual Grounding with Structural Guidance [20.55536735670125]
3Dビジュアルグラウンド(3DVG)は、自然言語記述に基づく3Dシーンにおけるオブジェクトの配置に焦点を当てている。 MLLM(Multi-modal Large Language Models)の最近の進歩は、それらを3DVGに拡張する研究の動機となっている。 S$2$-MLLMは、暗黙の空間的推論を通じてMLLMの空間的推論を強化する効率的なフレームワークである。
論文参考訳（メタデータ） (2025-12-01T03:08:34Z)
Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
論文参考訳（メタデータ） (2025-11-14T04:16:09Z)
AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models [20.05010202296243]
エージェントが3Dシーンの各参照余剰要素、その位置、動きタイプ、動き軸について予測する必要がある。本稿では,MLLM(Multimodal Large Language Models)とCoT(Chere-of-Thought)推論パラダイムを統合した新しいフレームワークであるAffordBotを提案する。 AffordBotは最先端のパフォーマンスを実現し、3Dポイントのクラウド入力とMLLMだけで強力な一般化と物理的根拠を持つ推論を実証する。
論文参考訳（メタデータ） (2025-11-13T06:43:00Z)
Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
論文参考訳（メタデータ） (2025-05-29T17:59:04Z)
MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
論文参考訳（メタデータ） (2025-03-23T16:40:20Z)
Video-3D LLM: Learning Position-Aware Video Representation for 3D Scene Understanding [19.382210260928776]
Video-3D LLMは3Dシーンをダイナミックビデオとして扱い、3D位置エンコーディングをこれらの表現に組み込む。本モデルは,複数の3次元シーン理解ベンチマークにおいて,最先端の性能を実現する。
論文参考訳（メタデータ） (2024-11-30T14:28:53Z)
Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
論文参考訳（メタデータ） (2024-08-01T17:57:12Z)
Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
論文参考訳（メタデータ） (2022-03-06T13:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。