論文の概要: Neural Acoustic Context Field: Rendering Realistic Room Impulse Response With Neural Fields

• arxiv url: http://arxiv.org/abs/2309.15977v1
• Date: Wed, 27 Sep 2023 19:50:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 18:56:52.311337
• Title: Neural Acoustic Context Field: Rendering Realistic Room Impulse Response With Neural Fields
• Title（参考訳）: ニューラル・アコースティック・コンテキスト・フィールド:ニューラル・フィールドによる現実的な室内インパルス応答のレンダリング
• Authors: Susan Liang, Chao Huang, Yapeng Tian, Anurag Kumar, Chenliang Xu
• Abstract要約: このレターでは、音声シーンをパラメータ化するためのNACFと呼ばれる新しいニューラルネットワークコンテキストフィールドアプローチを提案する。 RIRのユニークな性質により、時間相関モジュールとマルチスケールエネルギー崩壊基準を設計する。 実験の結果,NACFは既存のフィールドベース手法よりも顕著なマージンで優れていた。
• 参考スコア（独自算出の注目度）: 61.07542274267568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Room impulse response (RIR), which measures the sound propagation within an environment, is critical for synthesizing high-fidelity audio for a given environment. Some prior work has proposed representing RIR as a neural field function of the sound emitter and receiver positions. However, these methods do not sufficiently consider the acoustic properties of an audio scene, leading to unsatisfactory performance. This letter proposes a novel Neural Acoustic Context Field approach, called NACF, to parameterize an audio scene by leveraging multiple acoustic contexts, such as geometry, material property, and spatial information. Driven by the unique properties of RIR, i.e., temporal un-smoothness and monotonic energy attenuation, we design a temporal correlation module and multi-scale energy decay criterion. Experimental results show that NACF outperforms existing field-based methods by a notable margin. Please visit our project page for more qualitative results.
• Abstract（参考訳）: 室内インパルス応答 (RIR) は環境内の音の伝搬を計測し, 所定の環境下での高忠実度音声の合成に重要である。 先行研究では、RIRを音波エミッタとレシーバの位置の神経場関数として表現することを提案した。 しかし、これらの手法は音声シーンの音響特性を十分に考慮していないため、性能が不十分である。 このレターは、幾何学、材料特性、空間情報などの複数の音響コンテキストを活用することにより、音声シーンをパラメータ化するための、NACFと呼ばれる新しいニューラルネットワークコンテキストアプローチを提案する。 RIRのユニークな性質、すなわち時間的非平滑性と単調エネルギー減衰により、時間的相関モジュールとマルチスケールエネルギー崩壊基準を設計する。 実験の結果,nacfは既存のフィールドベースメソッドよりも有意な差を示した。 より質的な結果を得るために、プロジェクトページをご覧ください。

関連論文リスト

• AV-GS: Learning Material and Geometry Aware Priors for Novel View Acoustic Synthesis [62.33446681243413]
  ビュー音響合成は、音源が3Dシーンで出力するモノのオーディオを考慮し、任意の視点でオーディオを描画することを目的としている。 既存の手法では、音声合成の条件として視覚的手がかりを利用するため、NeRFベースの暗黙モデルが提案されている。 本研究では,シーン環境全体を特徴付ける新しいオーディオ・ビジュアル・ガウス・スプレイティング(AV-GS)モデルを提案する。 AV-GSが実世界のRWASやシミュレーションベースのSoundSpacesデータセットの既存の代替品よりも優れていることを検証する。
  論文  参考訳（メタデータ） (2024-06-13T08:34:12Z)
• ActiveRIR: Active Audio-Visual Exploration for Acoustic Environment Modeling [57.1025908604556]
  環境音響モデルは、室内環境の物理的特性によって音がどのように変換されるかを表す。 本研究では,非マップ環境の環境音響モデルを効率的に構築する新しい課題であるアクティブ音響サンプリングを提案する。 我々は,音声・視覚センサストリームからの情報を利用してエージェントナビゲーションを誘導し,最適な音響データサンプリング位置を決定する強化学習ポリシーであるActiveRIRを紹介する。
  論文  参考訳（メタデータ） (2024-04-24T21:30:01Z)
• AV-RIR: Audio-Visual Room Impulse Response Estimation [49.469389715876915]
  室内インパルス応答(RIR)の正確な推定は,音声処理やAR/VR応用において重要である。 本稿では,与えられた残響音声信号と対応する環境の視覚的手がかりからRIRを正確に推定する,新しいマルチモーダルマルチタスク学習手法であるAV-RIRを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:58:30Z)
• Blind Acoustic Room Parameter Estimation Using Phase Features [4.473249957074495]
  本稿では,新しい位相関連機能を活用して,近年のアプローチを拡張し,いわゆる「残響指紋」パラメータを盲目的に推定する。 これらの特徴の追加は、マグニチュードベースのスペクトル特徴のみに依存する既存の手法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2023-03-13T20:05:41Z)
• Few-Shot Audio-Visual Learning of Environment Acoustics [89.16560042178523]
  室内インパルス応答 (RIR) 関数は、周囲の物理的環境がリスナーが聴く音をどう変換するかをキャプチャする。 我々は、空間で観測された画像とエコーのスパースセットに基づいて、RIRを推測する方法を探る。 3次元環境のための最先端オーディオ視覚シミュレータを用いた実験において,本手法が任意のRIRを生成できることを実証した。
  論文  参考訳（メタデータ） (2022-06-08T16:38:24Z)
• Deep Impulse Responses: Estimating and Parameterizing Filters with Deep Networks [76.830358429947]
  高雑音および地中設定におけるインパルス応答推定は難しい問題である。 本稿では,ニューラル表現学習の最近の進歩に基づいて,インパルス応答のパラメータ化と推定を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T18:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。