論文の概要: ActiveRIR: Active Audio-Visual Exploration for Acoustic Environment Modeling
- arxiv url: http://arxiv.org/abs/2404.16216v1
- Date: Wed, 24 Apr 2024 21:30:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 15:27:26.428897
- Title: ActiveRIR: Active Audio-Visual Exploration for Acoustic Environment Modeling
- Title(参考訳): ActiveRIR:音響環境モデリングのためのアクティブオーディオ-ビジュアル探索
- Authors: Arjun Somayazulu, Sagnik Majumder, Changan Chen, Kristen Grauman,
- Abstract要約: 環境音響モデルは、室内環境の物理的特性によって音がどのように変換されるかを表す。
本研究では,非マップ環境の環境音響モデルを効率的に構築する新しい課題であるアクティブ音響サンプリングを提案する。
我々は,音声・視覚センサストリームからの情報を利用してエージェントナビゲーションを誘導し,最適な音響データサンプリング位置を決定する強化学習ポリシーであるActiveRIRを紹介する。
- 参考スコア(独自算出の注目度): 57.1025908604556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An environment acoustic model represents how sound is transformed by the physical characteristics of an indoor environment, for any given source/receiver location. Traditional methods for constructing acoustic models involve expensive and time-consuming collection of large quantities of acoustic data at dense spatial locations in the space, or rely on privileged knowledge of scene geometry to intelligently select acoustic data sampling locations. We propose active acoustic sampling, a new task for efficiently building an environment acoustic model of an unmapped environment in which a mobile agent equipped with visual and acoustic sensors jointly constructs the environment acoustic model and the occupancy map on-the-fly. We introduce ActiveRIR, a reinforcement learning (RL) policy that leverages information from audio-visual sensor streams to guide agent navigation and determine optimal acoustic data sampling positions, yielding a high quality acoustic model of the environment from a minimal set of acoustic samples. We train our policy with a novel RL reward based on information gain in the environment acoustic model. Evaluating on diverse unseen indoor environments from a state-of-the-art acoustic simulation platform, ActiveRIR outperforms an array of methods--both traditional navigation agents based on spatial novelty and visual exploration as well as existing state-of-the-art methods.
- Abstract(参考訳): 環境音響モデルは、任意の音源/受信者の位置について、室内環境の物理的特性によって音がどのように変換されるかを表す。
従来の音響モデル構築の方法は、空間の密集した場所にある大量の音響データの高価で時間を要する収集や、音響データサンプリングの場所をインテリジェントに選択するためのシーン幾何学の特権的な知識に依存している。
本研究では,視覚・音響センサを備えた移動体エージェントが,環境音響モデルと占有マップを同時に構築する,無人環境の環境音響モデルを構築するための新しいタスクである能動的音響サンプリングを提案する。
音声・視覚センサストリームからの情報を活用してエージェントナビゲーションを誘導し、最適な音響データサンプリング位置を判定する強化学習(RL)ポリシーであるActiveRIRを導入し、最小限の音響サンプルから環境の高品質な音響モデルを生成する。
環境音響モデルにおける情報ゲインに基づく新しいRL報酬で政策を訓練する。
ActiveRIRは、最先端の音響シミュレーションプラットフォームから、さまざまな目に見えない屋内環境の評価を行い、従来のナビゲーションエージェントと既存の最先端の手法の両方を性能評価する。
関連論文リスト
- BAT: Learning to Reason about Spatial Sounds with Large Language Models [48.48501269805149]
本稿では,空間的シーン解析モデルの音知覚能力と大規模言語モデル(LLM)の自然言語推論能力を組み合わせたBATを提案する。
実験では,空間音知覚と推論の両方において,BATの優れた性能を示す。
論文 参考訳(メタデータ) (2024-02-02T17:34:53Z) - Neural Acoustic Context Field: Rendering Realistic Room Impulse Response
With Neural Fields [61.07542274267568]
このレターでは、音声シーンをパラメータ化するためのNACFと呼ばれる新しいニューラルネットワークコンテキストフィールドアプローチを提案する。
RIRのユニークな性質により、時間相関モジュールとマルチスケールエネルギー崩壊基準を設計する。
実験の結果,NACFは既存のフィールドベース手法よりも顕著なマージンで優れていた。
論文 参考訳(メタデータ) (2023-09-27T19:50:50Z) - Self-Supervised Visual Acoustic Matching [63.492168778869726]
音響マッチングは、ターゲットの音響環境に録音されたかのように、音声クリップを再合成することを目的としている。
そこで本研究では,対象のシーン画像と音声のみを含む,視覚的音響マッチングのための自己教師型アプローチを提案する。
提案手法は,条件付きGANフレームワークと新しいメトリクスを用いて,室内音響をアンタングル化し,音をターゲット環境に再合成する方法を共同で学習する。
論文 参考訳(メタデータ) (2023-07-27T17:59:59Z) - AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene
Synthesis [61.07542274267568]
我々は,マルチモーダル学習のための,現実の映像シーン合成という新たな課題と,その一級のNeRFベースのアプローチについて検討する。
音声伝搬の事前知識をNeRFに統合する音響認識型音声生成モジュールを提案する。
本稿では,音源に対する視野方向を表す座標変換モジュールを提案する。
論文 参考訳(メタデータ) (2023-02-04T04:17:19Z) - Few-Shot Audio-Visual Learning of Environment Acoustics [89.16560042178523]
室内インパルス応答 (RIR) 関数は、周囲の物理的環境がリスナーが聴く音をどう変換するかをキャプチャする。
我々は、空間で観測された画像とエコーのスパースセットに基づいて、RIRを推測する方法を探る。
3次元環境のための最先端オーディオ視覚シミュレータを用いた実験において,本手法が任意のRIRを生成できることを実証した。
論文 参考訳(メタデータ) (2022-06-08T16:38:24Z) - AcousticFusion: Fusing Sound Source Localization to Visual SLAM in
Dynamic Environments [19.413143126734383]
音源方向をRGB-D画像に融合する新しい音声-視覚融合手法を提案する。
提案手法は、非常に小さな計算資源を用いて、非常に安定した自己ローカライゼーション結果を得る。
論文 参考訳(メタデータ) (2021-08-03T02:10:26Z) - Environment Transfer for Distributed Systems [5.8010446129208155]
本論文では,音声データ間の音響的風合いの伝達に用いる手法を拡張する手法を提案する。
分散音響データ拡張のための環境間で音声シグネチャを転送する。
本稿では,生成した音響データを分類精度と内容保存に基づいて評価する指標を考案する。
論文 参考訳(メタデータ) (2021-01-06T04:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。