論文の概要: FloorSAV: Elucidating Spatial Audio-Visual Context with 2D Floormap for AV-LLMs

• arxiv url: http://arxiv.org/abs/2610.11310v1
• Date: Thu, 08 Oct 2026 06:15:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.828104
• Title: FloorSAV: Elucidating Spatial Audio-Visual Context with 2D Floormap for AV-LLMs
• Title（参考訳）: FloorSAV:AV-LLMのための2次元フロアマップを用いた空間オーディオ・ビジュアルコンテキストの解明
• Abstract要約: FloorSAVは、ダイナミックな2Dフロアマップをレンダリングすることで、空間的オーディオ視覚コンテキストを基盤とするフレームワークである。 AV-LLMは、視覚的、聴覚的、幾何学的手がかりを1つの推論で共同で推論するために、そのマルチモーダル機能を利用する。
• 参考スコア（独自算出の注目度）: 32.07250308894528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While 3D spatial reasoning in dynamic egocentric environments is crucial for embodied intelligence, audio-visual large language models (AV-LLMs) lack explicit mechanisms to process and internalize global geometry directly from raw sensory streams. Existing approaches either require costly fine-tuning or underutilize the model's cross-modal reasoning capacities. In this paper, we propose FloorSAV, a novel framework that explicitly grounds spatial audio-visual context by rendering a dynamic 2D floormap. By integrating 3D point clouds, camera trajectories, spatial audio cues, and semantically grounded object landmarks, we inject this floormap into the AV-LLM as a synchronized stream with an egocentric video. AV-LLMs utilize their multi-modal capabilities to jointly reason over visual, auditory, and geometric cues in a single inference with floormap interpretation guidance. We further introduce SAVED-Bench (Spatial Audio-Visual Egocentric Benchmark with Dynamic Agents), constructing essential tasks of spatial capability in real-world scenarios: dynamic relativity, regional, and path reasoning QAs. FloorSAV improves AV-LLMs' spatial reasoning on various tasks from both SAVED-Bench and SAVVY-Bench. Studies with ground-truth floormaps demonstrate the substantial potential of FloorSAV with accurate spatial information.
• Abstract（参考訳）: 動的自我中心環境における3次元空間推論は、インテリジェンスを具現化する上で重要であるが、オーディオ視覚大言語モデル(AV-LLM)には、生の感覚ストリームから直接グローバルジオメトリを処理および内部化するための明確なメカニズムが欠如している。 既存のアプローチでは、コストのかかる微調整が必要か、モデルのクロスモーダル推論能力の不足が要求される。 本稿では,ダイナミックな2次元フロアマップを描画することで空間的視覚的コンテキストを明確に把握する新しいフレームワークFloorSAVを提案する。 このフロアマップをAV-LLMにエゴセントリックなビデオと同期したストリームとして注入する。 AV-LLMは、視覚、聴覚、幾何学的手がかりをフロアマップの解釈指導を伴う単一の推論で共同推論するために、そのマルチモーダル機能を利用する。 さらに, SAVED-Bench (Spatial Audio-Visual Egocentric Benchmark with Dynamic Agents) を導入し, 動的相対性理論, 局所的, 経路推論QAといった実世界のシナリオにおいて, 空間的能力の重要なタスクを構築した。 FloorSAVは、SAVED-BenchとSAVVY-Benchの両方のタスクにおけるAV-LLMの空間的推論を改善する。 地上構造図を用いた研究は、正確な空間情報を持つFloorSAVのかなりの可能性を示している。

関連論文リスト

• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding [34.1504914582344]
  3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。 生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。 厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
  論文  参考訳（メタデータ） (2026-04-01T06:12:16Z)
• JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments [34.02990381039783]
  本稿では, AV-LLMsを3次元空間に拡張し, 共同空間の接地と推論を可能にするフレームワークであるJAEGERを提案する。 我々の研究の中核となる貢献は、学習された空間音響表現である神経強度ベクトル(Neural IV)である。 我々のアプローチは、多様な空間認識と推論タスクにまたがる2D中心のベースラインを一貫して超越している。
  論文  参考訳（メタデータ） (2026-02-20T04:06:07Z)
• Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
  DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。 そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。 パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
  論文  参考訳（メタデータ） (2025-12-23T17:56:36Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
  身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。 アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。 モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
  論文  参考訳（メタデータ） (2025-07-05T14:15:52Z)
• SAVVY: Spatial Awareness via Audio-Visual LLMs through Seeing and Hearing [17.185628958975528]
  ダイナミック・オーディオ・視覚環境における3次元空間推論は人間の認知の基盤となる。 SAVVYは、動的シーンにおける3次元空間推論のための最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-06-04T19:11:20Z)
• 3D Audio-Visual Segmentation [52.34970001474347]
  ロボット工学やAR/VR/MRに様々な応用がある。 本稿では,事前学習した2次元オーディオ視覚基盤モデルから,使用可能な知識を統合することで特徴付ける新しいアプローチであるEchoSegnetを提案する。 実験により、EchoSegnetは、私たちの新しいベンチマークで、3D空間の音声オブジェクトを効果的にセグメント化できることが実証された。
  論文  参考訳（メタデータ） (2024-11-04T16:30:14Z)
• Dense 2D-3D Indoor Prediction with Sound via Aligned Cross-Modal Distillation [44.940531391847]
  クロスモーダルな知識蒸留による2次元・3次元音による屋内密集予測の課題に対処する。 我々は2次元と3次元の両方における全方位環境の密集した屋内予測に、オーディオ観測で最初に取り組みました。 音声に基づく深度推定,セマンティックセグメンテーション,難解な3次元シーン再構築のために,提案した蒸留フレームワークは一貫して最先端の性能を達成している。
  論文  参考訳（メタデータ） (2023-09-20T06:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。