論文の概要: Learning to Set Waypoints for Audio-Visual Navigation

• arxiv url: http://arxiv.org/abs/2008.09622v3
• Date: Thu, 11 Feb 2021 18:36:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 20:53:13.768792
• Title: Learning to Set Waypoints for Audio-Visual Navigation
• Title（参考訳）: 聴覚ナビゲーションのためのウェイポイント設定学習
• Authors: Changan Chen, Sagnik Majumder, Ziad Al-Halah, Ruohan Gao, Santhosh Kumar Ramakrishnan, Kristen Grauman
• Abstract要約: 音声視覚ナビゲーションでは、エージェントが視覚と音の両方を使って複雑な3D環境をインテリジェントに移動し、音源を見つける。 既存のモデルは、エージェント動作の一定の粒度で動作することを学び、オーディオ観測の単純な再帰的な集約に依存する。 本稿では,2つの重要な要素を持つ音声視覚ナビゲーションに対する強化学習手法を提案する。
• 参考スコア（独自算出の注目度）: 89.42192208471735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In audio-visual navigation, an agent intelligently travels through a complex, unmapped 3D environment using both sights and sounds to find a sound source (e.g., a phone ringing in another room). Existing models learn to act at a fixed granularity of agent motion and rely on simple recurrent aggregations of the audio observations. We introduce a reinforcement learning approach to audio-visual navigation with two key novel elements: 1) waypoints that are dynamically set and learned end-to-end within the navigation policy, and 2) an acoustic memory that provides a structured, spatially grounded record of what the agent has heard as it moves. Both new ideas capitalize on the synergy of audio and visual data for revealing the geometry of an unmapped space. We demonstrate our approach on two challenging datasets of real-world 3D scenes, Replica and Matterport3D. Our model improves the state of the art by a substantial margin, and our experiments reveal that learning the links between sights, sounds, and space is essential for audio-visual navigation. Project: http://vision.cs.utexas.edu/projects/audio_visual_waypoints.
• Abstract（参考訳）: 音声視覚ナビゲーションにおいて、エージェントは視覚と音の両方を使って複雑な3D環境をインテリジェントに移動し、音源(例えば、別の部屋で電話が鳴っている)を見つける。 既存のモデルはエージェントの動きの一定の粒度で振る舞うことを学び、オーディオ観測の単純な再帰的な集約に依存する。 音声視覚ナビゲーションにおける2つの新しい要素を用いた強化学習手法を提案する。 1)ナビゲーションポリシー内で動的に設定され、学習されたウェイポイント、 2) エージェントが移動するときに聞いたことを空間的に構造化した記録を提供する音響記憶装置。 どちらの新しいアイデアも、未熟な空間の形状を明らかにするために、オーディオとビジュアルデータのシナジーを生かしている。 我々はReplicaとMatterport3Dという,現実世界の3Dシーンの2つの挑戦的なデータセットに対するアプローチを実証する。 私たちのモデルは芸術の状態をかなり改善し、視覚、音、空間のリンクを学習することがオーディオと視覚のナビゲーションに不可欠であることを実験で明らかにしています。 プロジェクト: http://vision.cs.utexas.edu/projects/audio_visual_waypoints

関連論文リスト

• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• Learning Spatial Features from Audio-Visual Correspondence in Egocentric Videos [69.79632907349489]
  本稿では,エゴセントリックビデオにおける空間的音声・視覚対応に基づく表現の自己教師付き学習法を提案する。 本手法では,マスク付き(マルチチャネル)音声を音声と視覚の相乗効果により合成するために,マスク付き自動符号化フレームワークを用いる。
  論文  参考訳（メタデータ） (2023-07-10T17:58:17Z)
• AVLEN: Audio-Visual-Language Embodied Navigation in 3D Environments [60.98664330268192]
  AVLEN(Audio-Visual-Language Embodied Navigationの対話型エージェント)を提案する。 AVLENの目標は、3Dビジュアルワールドをナビゲートすることでオーディオイベントをローカライズすることである。 これらの能力を実現するために、AVLENはマルチモーダル階層的な強化学習バックボーンを使用する。
  論文  参考訳（メタデータ） (2022-10-14T16:35:06Z)
• SoundSpaces 2.0: A Simulation Platform for Visual-Acoustic Learning [127.1119359047849]
  SoundSpaces 2.0は3D環境のためのオンザフライ幾何ベースのオーディオレンダリングのためのプラットフォームである。 任意のマイク位置から取得した任意の音に対して、非常にリアルな音響を生成する。 SoundSpaces 2.0は、視聴と聴取の両方が可能な知覚システムのより広範な研究を促進するために公開されている。
  論文  参考訳（メタデータ） (2022-06-16T17:17:44Z)
• Towards Generalisable Audio Representations for Audio-Visual Navigation [18.738943602529805]
  オーディオ視覚ナビゲーション(AVN)では、知的エージェントが複雑な3D環境下で常に音を出す物体にナビゲートする必要がある。 本稿では,音声エンコーダの正規化により,この課題に対処するための対照的な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T11:00:07Z)
• Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments [0.0]
  本稿では,AIエージェントが邪魔音やうるさい音の存在下で,未マップ環境において移動音源をキャッチしなければならない,新しい動的視覚ナビゲーション・ベンチマークを提案する。 提案手法は, 難聴音への一般化, うるさいシナリオに対する堅牢性などにより, 現在の最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2022-01-12T03:08:03Z)
• Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds [5.002862602915434]
  オーディオ視覚ナビゲーションは、視覚と聴覚を組み合わせて、マップされていない環境で音を発する音源にナビゲートする。 そこで本研究では,ノイズや邪魔な音を伴って環境中を移動した音源をキャッチする必要がある動的視覚ナビゲーションベンチマークを提案する。 我々の手法は、音の移動、聴覚のない音、騒々しい環境など、あらゆるタスクにおいて、最先端技術よりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-11-29T15:17:46Z)
• Bio-Inspired Audio-Visual Cues Integration for Visual Attention Prediction [15.679379904130908]
  視覚的注意予測(VAP)手法は、シーンを認識するための人間の選択的な注意機構をシミュレートする。 VAPタスクにはバイオインスパイアされたオーディオ・ビジュアル・キューの統合手法が提案されている。 実験は、DIEM、AVAD、Coutrot1、Coutrot2、SumMe、ETMDを含む6つの難しい視線追跡データセットで実施されている。
  論文  参考訳（メタデータ） (2021-09-17T06:49:43Z)
• Move2Hear: Active Audio-Visual Source Separation [90.16327303008224]
  対象物からの音をより効果的に分離するために、エージェントがインテリジェントに動く必要があるアクティブオーディオビジュアルソース分離問題を紹介します。 エージェントのカメラとマイクロホン配置を時間とともに制御する移動ポリシーを訓練する強化学習アプローチを紹介します。 音源分離のための最大ペイオフで最小の動作シーケンスを見つけるモデルの能力を実証します。
  論文  参考訳（メタデータ） (2021-05-15T04:58:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。