論文の概要: ImmerseDiffusion: A Generative Spatial Audio Latent Diffusion Model

• arxiv url: http://arxiv.org/abs/2410.14945v1
• Date: Sat, 19 Oct 2024 02:28:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:15:49.641318
• Title: ImmerseDiffusion: A Generative Spatial Audio Latent Diffusion Model
• Title（参考訳）: ImmerseDiffusion:空間音響潜在拡散モデル
• Authors: Mojtaba Heydari, Mehrez Souden, Bruno Conejo, Joshua Atkins,
• Abstract要約: ImmerseDiffusionは音の空間的・時間的・環境的条件を条件とした3次元没入型音像を生成する。
• 参考スコア（独自算出の注目度）: 2.2927722373373247
• License:
• Abstract: We introduce ImmerseDiffusion, an end-to-end generative audio model that produces 3D immersive soundscapes conditioned on the spatial, temporal, and environmental conditions of sound objects. ImmerseDiffusion is trained to generate first-order ambisonics (FOA) audio, which is a conventional spatial audio format comprising four channels that can be rendered to multichannel spatial output. The proposed generative system is composed of a spatial audio codec that maps FOA audio to latent components, a latent diffusion model trained based on various user input types, namely, text prompts, spatial, temporal and environmental acoustic parameters, and optionally a spatial audio and text encoder trained in a Contrastive Language and Audio Pretraining (CLAP) style. We propose metrics to evaluate the quality and spatial adherence of the generated spatial audio. Finally, we assess the model performance in terms of generation quality and spatial conformance, comparing the two proposed modes: ``descriptive", which uses spatial text prompts) and ``parametric", which uses non-spatial text prompts and spatial parameters. Our evaluations demonstrate promising results that are consistent with the user conditions and reflect reliable spatial fidelity.
• Abstract（参考訳）: ImmerseDiffusionは音の空間的・時間的・環境的条件を条件とした3次元没入型音像を生成する。 ImmerseDiffusionは、マルチチャネル空間出力にレンダリング可能な4つのチャンネルからなる従来の空間オーディオフォーマットである、一階アンビソニクス(FOA)オーディオを生成するために訓練されている。 提案する生成システムは,FOA音声を潜時成分にマッピングする空間オーディオコーデックと,テキストプロンプト,空間的,時間的,環境的な音響パラメータなど,様々なユーザ入力タイプに基づいて訓練された潜時拡散モデルと,コントラスト言語およびオーディオ事前学習(CLAP)スタイルで訓練された空間オーディオおよびテキストエンコーダとから構成される。 生成した空間音響の品質と空間的密着度を評価するための指標を提案する。 最後に,空間的テキストプロンプトを用いた「説明的」と非空間的テキストプロンプトと空間的パラメータを用いた「パラメトリック」の2つのモードを比較し,生成品質と空間的適合性の観点からモデル性能を評価する。 本評価は,ユーザ条件と一致し,信頼性の高い空間忠実度を反映する有望な結果を示す。

関連論文リスト

• Both Ears Wide Open: Towards Language-Driven Spatial Audio Generation [32.24603883810094]
  ステレオオーディオを空間的コンテキストで制御することは、高いデータコストと不安定な生成モデルのために依然として困難である。 まず, 大規模・シミュレーションベース・GPT支援型データセットBEWO-1Mを構築し, 移動・複数音源を含む豊富な音環境と記述を行った。 空間誘導を利用して,テキストや画像から没入型かつ制御可能な空間オーディオを生成する。
  論文  参考訳（メタデータ） (2024-10-14T16:18:29Z)
• Blind Spatial Impulse Response Generation from Separate Room- and Scene-Specific Information [0.42970700836450487]
  ユーザの実際の音響環境に関する知識は,環境にシームレスに溶け込む仮想音のレンダリングに不可欠である。 最終出力において,室内パラメータと位置パラメータの両方がどう考慮されるかを示す。
  論文  参考訳（メタデータ） (2024-09-23T12:41:31Z)
• AV-GS: Learning Material and Geometry Aware Priors for Novel View Acoustic Synthesis [62.33446681243413]
  ビュー音響合成は、音源が3Dシーンで出力するモノのオーディオを考慮し、任意の視点でオーディオを描画することを目的としている。 既存の手法では、音声合成の条件として視覚的手がかりを利用するため、NeRFベースの暗黙モデルが提案されている。 本研究では,シーン環境全体を特徴付ける新しいオーディオ・ビジュアル・ガウス・スプレイティング(AV-GS)モデルを提案する。 AV-GSが実世界のRWASやシミュレーションベースのSoundSpacesデータセットの既存の代替品よりも優れていることを検証する。
  論文  参考訳（メタデータ） (2024-06-13T08:34:12Z)
• BAT: Learning to Reason about Spatial Sounds with Large Language Models [45.757161909533714]
  本稿では,空間的シーン解析モデルの音知覚能力と大規模言語モデル(LLM)の自然言語推論能力を組み合わせたBATを提案する。 実験では,空間音知覚と推論の両方において,BATの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-02T17:34:53Z)
• Attention-Driven Multichannel Speech Enhancement in Moving Sound Source Scenarios [11.811571392419324]
  音声強調アルゴリズムは典型的に静止音源を仮定するが、これは現実との共通のミスマッチであり、現実のシナリオではその性能を制限している。 本稿では,動的設定のための注意駆動型空間フィルタリング技術について述べる。
  論文  参考訳（メタデータ） (2023-12-17T16:12:35Z)
• Implicit Neural Spatial Filtering for Multichannel Source Separation in the Waveform Domain [131.74762114632404]
  モデルはエンドツーエンドで訓練され、空間処理を暗黙的に実行する。 提案したモデルを実世界のデータセット上で評価し,そのモデルがオラクルビームフォーマの性能と一致することを示す。
  論文  参考訳（メタデータ） (2022-06-30T17:13:01Z)
• Sound Model Factory: An Integrated System Architecture for Generative Audio Modelling [4.193940401637568]
  2つの異なるニューラルネットワークアーキテクチャを中心に構築されたデータ駆動型音響モデル設計のための新しいシステムを提案する。 本システムの目的は、(a)モデルが合成できるべき音の範囲と、(b)その音の空間をナビゲートするためのパラメトリック制御の仕様を与えられた、インタラクティブに制御可能な音モデルを生成することである。
  論文  参考訳（メタデータ） (2022-06-27T07:10:22Z)
• SoundSpaces 2.0: A Simulation Platform for Visual-Acoustic Learning [127.1119359047849]
  SoundSpaces 2.0は3D環境のためのオンザフライ幾何ベースのオーディオレンダリングのためのプラットフォームである。 任意のマイク位置から取得した任意の音に対して、非常にリアルな音響を生成する。 SoundSpaces 2.0は、視聴と聴取の両方が可能な知覚システムのより広範な研究を促進するために公開されている。
  論文  参考訳（メタデータ） (2022-06-16T17:17:44Z)
• Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
  複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。 本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。 オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
  論文  参考訳（メタデータ） (2021-02-23T09:59:31Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。