論文の概要: Sound propagation in realistic interactive 3D scenes with parameterized sources using deep neural operators

• arxiv url: http://arxiv.org/abs/2308.05141v2
• Date: Sat, 13 Jan 2024 11:40:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 01:57:46.290776
• Title: Sound propagation in realistic interactive 3D scenes with parameterized sources using deep neural operators
• Title（参考訳）: 深層ニューラルネットワークを用いたパラメタライズド音源を用いた対話型3次元シーンの音響伝搬
• Authors: Nikolas Borrel-Jensen, Somdatta Goswami, Allan P. Engsig-Karup, George Em Karniadakis, Cheol-Ho Jeong
• Abstract要約: 移動音源を持つ3次元仮想空間における音波伝搬シミュレーションの課題に対処する。 本稿では,線形波動方程式演算子を近似するためにディープ演算子ネットワークを提案する。 これにより、移動音源を持つ現実的な3次元音響シーンにおける音波伝搬の迅速予測が可能となる。
• 参考スコア（独自算出の注目度）: 1.6874375111244329
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We address the challenge of sound propagation simulations in 3D virtual rooms with moving sources, which have applications in virtual/augmented reality, game audio, and spatial computing. Solutions to the wave equation can describe wave phenomena such as diffraction and interference. However, simulating them using conventional numerical discretization methods with hundreds of source and receiver positions is intractable, making stimulating a sound field with moving sources impractical. To overcome this limitation, we propose using deep operator networks to approximate linear wave-equation operators. This enables the rapid prediction of sound propagation in realistic 3D acoustic scenes with moving sources, achieving millisecond-scale computations. By learning a compact surrogate model, we avoid the offline calculation and storage of impulse responses for all relevant source/listener pairs. Our experiments, including various complex scene geometries, show good agreement with reference solutions, with root mean squared errors ranging from 0.02 Pa to 0.10 Pa. Notably, our method signifies a paradigm shift as no prior machine learning approach has achieved precise predictions of complete wave fields within realistic domains. We anticipate that our findings will drive further exploration of deep neural operator methods, advancing research in immersive user experiences within virtual environments.$
• Abstract（参考訳）: 移動音源を用いた3次元仮想空間における音波伝搬シミュレーションの課題に対処し,仮想・拡張現実,ゲーム音声,空間計算に応用する。 波動方程式の解は回折や干渉といった波動現象を記述することができる。 しかし、数百の音源と受信位置を持つ従来の数値離散化法を用いてそれらをシミュレーションすることは困難であり、移動音源による音場刺激は非現実的である。 この制限を克服するため、線形波動方程式演算子を近似するディープ演算子ネットワークを提案する。 これにより、移動音源を持つ現実的な3次元音響シーンにおける音響伝搬の迅速な予測が可能となり、ミリ秒スケールの計算が可能となる。 コンパクトなサロゲートモデルを学ぶことにより、関連するすべてのソース/リスナーペアに対するインパルス応答のオフライン計算と格納を回避できる。 様々な複雑なシーンジオメトリを含む我々の実験は、0.02 Pa から 0.10 Pa までの根平均二乗誤差を持つ参照解と良好な一致を示した。 特に,本手法は,従来の機械学習手法が現実的な領域における完全波動場の正確な予測を達成していないため,パラダイムシフトを示す。 本研究は,仮想環境における没入型ユーザエクスペリエンスの研究を前進させ,深層ニューラルネットワークのさらなる探索を促進することを期待する。 $

関連論文リスト

• Sim2Real Transfer for Audio-Visual Navigation with Frequency-Adaptive Acoustic Field Prediction [51.71299452862839]
  本稿では,音場予測 (AFP) とウェイポイントナビゲーションに切り離して, 音声視覚ナビゲーションのためのsim2real の最初の治療法を提案する。 次に、特定の周波数サブバンドのみを入力とするAFPモデルをトレーニングすることにより、実世界のデータを収集し、シミュレーションと実世界のスペクトル差を測定する。 最後に、実際のロボットプラットフォームを構築し、転送されたポリシーが、音を鳴らすオブジェクトにうまくナビゲートできることを示します。
  論文  参考訳（メタデータ） (2024-05-05T06:01:31Z)
• Differentiable Radio Frequency Ray Tracing for Millimeter-Wave Sensing [29.352303349003165]
  我々はmmWaveベースの3D再構成のための微分可能なフレームワークDiffSBRを提案する。 DiffSBRは、仮想3Dモデルからレーダーポイント雲をシミュレートするために、微分可能なレイトレーシングエンジンを組み込んでいる。 各種レーダーハードウェアを用いた実験は、ディフSBRの微細な3D再構成能力を検証する。
  論文  参考訳（メタデータ） (2023-11-22T06:13:39Z)
• Listen2Scene: Interactive material-aware binaural sound propagation for reconstructed 3D scenes [69.03289331433874]
  仮想現実(VR)および拡張現実(AR)アプリケーションのためのエンドツーエンドオーディオレンダリング手法(Listen2Scene)を提案する。 実環境の3次元モデルに対する音響効果を生成するために,ニューラルネットを用いた新しい音響伝搬法を提案する。
  論文  参考訳（メタデータ） (2023-02-02T04:09:23Z)
• Few-Shot Audio-Visual Learning of Environment Acoustics [89.16560042178523]
  室内インパルス応答 (RIR) 関数は、周囲の物理的環境がリスナーが聴く音をどう変換するかをキャプチャする。 我々は、空間で観測された画像とエコーのスパースセットに基づいて、RIRを推測する方法を探る。 3次元環境のための最先端オーディオ視覚シミュレータを用いた実験において,本手法が任意のRIRを生成できることを実証した。
  論文  参考訳（メタデータ） (2022-06-08T16:38:24Z)
• Wavelet neural operator: a neural operator for parametric partial differential equations [0.0]
  WNO(Wavelet Neural Operator)と呼ばれる新しい演算子学習アルゴリズムを提案する。 WNOは、関数の時間周波数局所化におけるウェーブレットの優位性を活用し、空間領域におけるパターンの正確な追跡を可能にする。 提案手法は、利用可能な歴史的データに基づいて地球の気温を予測するデジタルツインを構築するために用いられる。
  論文  参考訳（メタデータ） (2022-05-04T17:13:59Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)
• Deep Impulse Responses: Estimating and Parameterizing Filters with Deep Networks [76.830358429947]
  高雑音および地中設定におけるインパルス応答推定は難しい問題である。 本稿では,ニューラル表現学習の最近の進歩に基づいて,インパルス応答のパラメータ化と推定を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T18:57:23Z)
• Seismic wave propagation and inversion with Neural Operators [7.296366040398878]
  我々は、最近開発されたNeural Operatorと呼ばれる機械学習パラダイムを用いて、一般的なソリューションを学習するためのプロトタイプフレームワークを開発した。 訓練されたニューラル演算子は、任意の速度構造やソース位置について、無視可能な時間で解を計算することができる。 本手法を2次元音響波動方程式を用いて説明し, 地震トモグラフィへの適用性を実証する。
  論文  参考訳（メタデータ） (2021-08-11T19:17:39Z)
• Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets Deep Reinforcement Learning [76.46530937296066]
  本稿では,無線モバイルユーザに対して,超信頼性でエネルギー効率のよいバーチャルリアリティ(VR)体験を提供するという課題について検討する。 モバイルユーザへの信頼性の高い超高精細ビデオフレーム配信を実現するために,コーディネートマルチポイント(CoMP)伝送技術とミリ波(mmWave)通信を利用する。
  論文  参考訳（メタデータ） (2021-06-03T08:35:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。