論文の概要: MuSTMM: Learning Sound-Triggered Mobile Manipulation across Multiple Scenes
- arxiv url: http://arxiv.org/abs/2610.21429v1
- Date: Thu, 15 Oct 2026 07:40:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.25588
- Title: MuSTMM: Learning Sound-Triggered Mobile Manipulation across Multiple Scenes
- Title（参考訳）: MuSTMM: 複数の場面にまたがるサウンドトリガー移動操作の学習
- Abstract要約: 音制御モバイルマニピュレーション(STMM)では、ロボットは関連するオブジェクトにナビゲートし、適切な物理的相互作用を実行することで、音イベントに応答する必要がある。
空間音響と31シーン間の物理的相互作用を組み合わせたデータセットMuSTMM(Multi-scene Sound-Triggered Mobile Manipulation)を提案する。
MuSTMMには、1436万の事前計算されたRoom Impulse Responses (RIR) と、見知らぬシーンにおける単点と複数点の設定を評価するためのシーン分割が含まれている。
- 参考スコア（独自算出の注目度）: 21.763825675011347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sound-Triggered Mobile Manipulation (STMM) requires robots to respond to sound events by navigating to the associated objects and performing appropriate physical interactions. Existing STMM evaluations primarily vary object layouts within limited architectural structures, leaving challenges to unseen scenes insufficiently explored. We introduce Multi-scene Sound-Triggered Mobile Manipulation (MuSTMM), a dataset that combines spatial audio rendering and physical interaction across 31 scenes with diverse architectures and object layouts. MuSTMM contains 14.36 million precomputed binaural Room Impulse Responses (RIRs) and a scene-disjoint split for evaluating single-event and multi-event settings in unseen scenes. We further augment the Navigation Policy Model with explicit spatial memory that complements acoustic cues with observed geometry. Specifically, we accumulate pose-aligned depth observations in a shared coordinate frame and project this memory into an egocentric Bird's-Eye View (BEV) occupancy map. Fusing map features with sound context produces a goal descriptor that provides both target-location and scene-structure priors, guiding navigation to the target region required for subsequent physical interaction. This policy achieves a 2.60% success rate boost over existing methods, while component ablations further support the effectiveness of spatial memory. MuSTMM and the navigation policy provide a testbed for the new challenge of studying sound-triggered mobile manipulation in unseen scenes. The code and dataset will be released upon acceptance.
- Abstract（参考訳）: 音制御モバイルマニピュレーション(STMM)では、ロボットは関連するオブジェクトにナビゲートし、適切な物理的相互作用を実行することで、音イベントに応答する必要がある。
既存のSTMM評価は、主に限られたアーキテクチャ構造内のオブジェクトレイアウトに変化があり、見当たらないシーンを十分に探索することの難しさを残している。
我々は,31シーンにわたる空間的オーディオレンダリングと物理的相互作用を組み合わせたデータセットであるMuSTMM(Multi-Scene Sound-Triggered Mobile Manipulation)を紹介した。
MuSTMMには1436万の事前計算されたバイノーラルルームインパルス応答(RIR)と、見知らぬシーンにおける単点と多点の設定を評価するためのシーン分割が含まれている。
さらに,音響的手がかりと観測幾何学を補完する空間記憶を明示したナビゲーションポリシーモデルを構築した。
具体的には、共有座標フレームにポーズアライメントされた深度観測を蓄積し、このメモリをエゴセントリックなBird's-Eye View(BEV)占有マップに投影する。
サウンドコンテキストとマップの特徴を融合させることで、目標位置とシーン構造の両方の事前情報を提供し、その後の物理的相互作用に必要なターゲット領域へのナビゲーションを誘導するゴール記述子を生成する。
このポリシーは既存の手法よりも2.60%の成功率の向上を達成する一方、コンポーネントの短縮は空間記憶の有効性をさらに支援している。
MuSTMMとナビゲーションポリシーは、見知らぬシーンにおける音声トリガーによる移動操作を研究するという、新たな課題に対するテストベッドを提供する。
コードとデータセットは受理時にリリースされる。
関連論文リスト
- Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation [9.175273901304253]
Embodied Audio-Visual Navigation (AVN) は、視覚的および聴覚的手がかりを共同で活用することにより、音のターゲットを見つけるためのエージェントを必要とする。
既存のアプローチは主に意味的聴覚機能に依存しており、これは一般化を聴こえない音のカテゴリーに制限する。
D-AVNのための新しいSMSbfTwo-Stage Multi-informed Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2026-10-08T10:29:07Z) - CTAN: Cycle-Temporal Attention Network for Embodied Audio-Visual Navigation [4.024922311680863]
この研究は、アクティブなセマンティック・エンハンスド・フュージョンのために設計されたフレームワークであるCycle-Temporal Attention Network (CTAN)を提示する。
提案手法は,成功率(SR),経路長重み付き成功率(SPL),シーンナビゲーション精度(SNA)の観点から,従来の音声視覚ナビゲーション手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2026-07-25T03:36:47Z) - Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。
新たな統合的ツイスト推定法を用いて調音モデルを推定する。
また,Arti4D-Semanticデータセットについても紹介する。
論文 参考訳（メタデータ） (2026-02-18T10:40:35Z) - REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。
室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
論文 参考訳（メタデータ） (2025-10-13T12:37:59Z) - Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。
提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2025-10-11T06:36:59Z) - SAVVY: Spatial Awareness via Audio-Visual LLMs through Seeing and Hearing [17.185628958975528]
ダイナミック・オーディオ・視覚環境における3次元空間推論は人間の認知の基盤となる。
SAVVYは、動的シーンにおける3次元空間推論のための最初のベンチマークである。
論文 参考訳（メタデータ） (2025-06-04T19:11:20Z) - HOSIG: Full-Body Human-Object-Scene Interaction Generation with Hierarchical Scene Perception [57.37135310143126]
HO SIGは階層的なシーン認識を通じて全体インタラクションを合成するための新しいフレームワークである。
我々のフレームワークは、自己回帰生成による運動長の無制限化をサポートし、手動による介入を最小限に抑える。
この研究は、シーン認識ナビゲーションとデクスタラスオブジェクト操作の間に重要なギャップを埋める。
論文 参考訳（メタデータ） (2025-06-02T12:08:08Z) - DOZE: A Dataset for Open-Vocabulary Zero-Shot Object Navigation in Dynamic Environments [28.23284296418962]
Zero-Shot Object Navigation (ZSON)は、エージェントが不慣れな環境で見えないオブジェクトを自律的に見つけ、アプローチすることを要求する。
ZSONアルゴリズムを開発するための既存のデータセットには、動的な障害、オブジェクトの多様性、シーンテキストが考慮されていない。
動的環境(DOZE)におけるオープンボキャブラリゼロショットオブジェクトナビゲーションのためのデータセットを提案する。
DOZEは18k以上のタスクを持つ10の高忠実な3Dシーンで構成されており、複雑な動的現実世界のシナリオを模倣することを目的としている。
論文 参考訳（メタデータ） (2024-02-29T10:03:57Z) - Semantic Audio-Visual Navigation [93.12180578267186]
環境内のオブジェクトが意味的意味と一致する音を作るセマンティックオーディオビジュアルナビゲーションを紹介します。
この新しい意味を持つAudioGoalタスクに取り組むトランスフォーマーベースのモデルを提案する。
本手法は, 意味, 音響, 視覚の手がかりを関連付ける学習により, 既存の視聴覚ナビゲーション手法を大きく上回っている。
論文 参考訳（メタデータ） (2020-12-21T18:59:04Z) - Learning to Set Waypoints for Audio-Visual Navigation [89.42192208471735]
音声視覚ナビゲーションでは、エージェントが視覚と音の両方を使って複雑な3D環境をインテリジェントに移動し、音源を見つける。
既存のモデルは、エージェント動作の一定の粒度で動作することを学び、オーディオ観測の単純な再帰的な集約に依存する。
本稿では,2つの重要な要素を持つ音声視覚ナビゲーションに対する強化学習手法を提案する。
論文 参考訳（メタデータ） (2020-08-21T18:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。