論文の概要: DualSpec: Text-to-spatial-audio Generation via Dual-Spectrogram Guided Diffusion Model

• arxiv url: http://arxiv.org/abs/2502.18952v1
• Date: Wed, 26 Feb 2025 09:01:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:56:25.928035
• Title: DualSpec: Text-to-spatial-audio Generation via Dual-Spectrogram Guided Diffusion Model
• Title（参考訳）: DualSpec:Dual-Spectrogram Guided Diffusion Modelによるテキスト・音声合成
• Authors: Lei Zhao, Sizhou Chen, Linfeng Feng, Xiao-Lei Zhang, Xuelong Li,
• Abstract要約: 本稿では,DualSpec というテキスト・音声生成フレームワークを提案する。 まず、音響イベントオーディオから潜時音響表現を抽出するための変分オートエンコーダ(VAE)を訓練する。 最後に、空間音響生成のための潜在音響表現とテキスト特徴から拡散モデルを訓練する。
• 参考スコア（独自算出の注目度）: 48.57556892287629
• License:
• Abstract: Text-to-audio (TTA), which generates audio signals from textual descriptions, has received huge attention in recent years. However, recent works focused on text to monaural audio only. As we know, spatial audio provides more immersive auditory experience than monaural audio, e.g. in virtual reality. To address this issue, we propose a text-to-spatial-audio (TTSA) generation framework named DualSpec.Specifically, it first trains variational autoencoders (VAEs) for extracting the latent acoustic representations from sound event audio. Then, given text that describes sound events and event directions, the proposed method uses the encoder of a pretrained large language model to transform the text into text features. Finally, it trains a diffusion model from the latent acoustic representations and text features for the spatial audio generation. In the inference stage, only the text description is needed to generate spatial audio. Particularly, to improve the synthesis quality and azimuth accuracy of the spatial sound events simultaneously, we propose to use two kinds of acoustic features. One is the Mel spectrograms which is good for improving the synthesis quality, and the other is the short-time Fourier transform spectrograms which is good at improving the azimuth accuracy. We provide a pipeline of constructing spatial audio dataset with text prompts, for the training of the VAEs and diffusion model. We also introduce new spatial-aware evaluation metrics to quantify the azimuth errors of the generated spatial audio recordings. Experimental results demonstrate that the proposed method can generate spatial audio with high directional and event consistency.
• Abstract（参考訳）: 近年,テキスト記述から音声信号を生成するTTA (Text-to-audio) が注目されている。 しかし、近年の作品はモノラル音声のみに焦点をあてている。 私たちが知っているように、空間オーディオは、例えばバーチャルリアリティーにおいて、モノラルオーディオよりも没入的な聴覚体験を提供する。 この問題に対処するために,DualSpec というテキスト・音声生成フレームワークを提案する。特に,音声イベント音声から潜時音響表現を抽出するための変分オートエンコーダ (VAE) を訓練する。 そこで, 提案手法では, 事前学習した大言語モデルのエンコーダを用いて, テキストの特徴をテキストに変換する。 最後に、空間音響生成のための潜在音響表現とテキスト特徴から拡散モデルを訓練する。 推論段階では、空間音声を生成するためにテキスト記述のみが必要となる。 特に,空間音事象の合成品質と方位精度を同時に向上するために,2種類の音響特徴を用いることを提案する。 1つは合成品質の向上に優れたメル分光器であり、もう1つは方位精度の向上に優れた短時間フーリエ変換分光器である。 テキストプロンプトを用いた空間音声データセットを構築するパイプラインを提供し,VAEと拡散モデルのトレーニングを行う。 また,生成した空間音声の方位誤差を定量化するための空間認識評価指標も導入した。 実験により,提案手法は高方向・イベント整合性で空間音声を生成可能であることが示された。

関連論文リスト

• ImmerseDiffusion: A Generative Spatial Audio Latent Diffusion Model [2.2927722373373247]
  ImmerseDiffusionは音の空間的・時間的・環境的条件を条件とした3次元没入型音像を生成する。
  論文  参考訳（メタデータ） (2024-10-19T02:28:53Z)
• Both Ears Wide Open: Towards Language-Driven Spatial Audio Generation [32.24603883810094]
  ステレオオーディオを空間的コンテキストで制御することは、高いデータコストと不安定な生成モデルのために依然として困難である。 まず,大規模・シミュレーションベース・GPT支援型データセットBEWO-1Mの構築を行った。 空間誘導を利用してテキストから没入型かつ制御可能な空間音声を生成する。
  論文  参考訳（メタデータ） (2024-10-14T16:18:29Z)
• Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models [64.14812728562596]
  本稿では,事前学習した音声駆動音声合成モデルをテキスト駆動で動作させる手法を提案する。 提供されたテキスト文を記述した顔ビデオを簡単に生成できる。
  論文  参考訳（メタデータ） (2023-06-28T08:22:53Z)
• Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation [72.7915031238824]
  大規模な拡散モデルは、テキスト・トゥ・オーディオ(T2A)合成タスクで成功している。 意味的不一致や時間的一貫性の低下といった共通の問題に悩まされることが多い。 我々は,Make-an-Audioの成功に基づいて,潜伏拡散に基づくT2A法であるMake-an-Audio 2を提案する。
  論文  参考訳（メタデータ） (2023-05-29T10:41:28Z)
• DiffAVA: Personalized Text-to-Audio Generation with Visual Alignment [30.38594416942543]
  本稿では,遅延拡散モデル,すなわちDiffAVAに基づく視覚アライメントを用いた,新規でパーソナライズされたテキスト・音声生成手法を提案する。 我々のDiffAVAは、ビデオ特徴から時間情報を集約するマルチヘッドアテンショントランスフォーマーと、テキスト埋め込みで時間的視覚表現を融合するデュアルマルチモーダル残差ネットワークを活用している。 AudioCapsデータセットの実験結果から、提案したDiffAVAは、視覚的に整列したテキスト・オーディオ生成において、競合する性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-22T10:37:27Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)
• LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders [53.30016986953206]
  雑音の多い音声・視覚音声からのメルスペクトルをトランスフォーマーベースアーキテクチャにより予測する2段階のアプローチであるLA-VocEを提案する。 我々は、何千もの話者と11以上の異なる言語でフレームワークを訓練し、評価し、異なるレベルのバックグラウンドノイズや音声干渉に適応するモデルの能力について研究する。
  論文  参考訳（メタデータ） (2022-11-20T15:27:55Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。