論文の概要: Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?

• arxiv url: http://arxiv.org/abs/2406.08800v1
• Date: Thu, 13 Jun 2024 04:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 21:18:27.770791
• Title: Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?
• Title（参考訳）: 生成基礎モデルからの合成音声は音声認識と音声モデリングを支援するか?
• Authors: Tiantian Feng, Dimitrios Dimitriadis, Shrikanth Narayanan,
• Abstract要約: 本研究の目的は,学習データとして使用することの有効性を検証し,音質を評価することである。 具体的には,音声認識における合成音声の利用について検討する。 また、音声関連モデリングにおいて、合成音声がデータ拡張の資源となるかどうかについても検討する。
• 参考スコア（独自算出の注目度）: 40.3708221702947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in foundation models have enabled audio-generative models that produce high-fidelity sounds associated with music, events, and human actions. Despite the success achieved in modern audio-generative models, the conventional approach to assessing the quality of the audio generation relies heavily on distance metrics like Frechet Audio Distance. In contrast, we aim to evaluate the quality of audio generation by examining the effectiveness of using them as training data. Specifically, we conduct studies to explore the use of synthetic audio for audio recognition. Moreover, we investigate whether synthetic audio can serve as a resource for data augmentation in speech-related modeling. Our comprehensive experiments demonstrate the potential of using synthetic audio for audio recognition and speech-related modeling. Our code is available at https://github.com/usc-sail/SynthAudio.
• Abstract（参考訳）: 基礎モデルの最近の進歩は、音楽、イベント、人間の行動に関連する高忠実な音を生成するオーディオ生成モデルを可能にしている。 現代のオーディオ生成モデルで成功したにもかかわらず、オーディオ生成の品質を評価する従来のアプローチは、Frechet Audio Distanceのような距離メトリクスに大きく依存している。 一方,本研究では,学習データとしての音質評価を行ない,音質評価を行おうとしている。 具体的には,音声認識における合成音声の利用について検討する。 さらに,音声関連モデリングにおいて,合成音声がデータ拡張の資源となるかどうかを検討する。 包括的実験により,音声認識や音声関連モデリングに合成音声を用いる可能性が示された。 私たちのコードはhttps://github.com/usc-sail/SynthAudio.comで公開されています。

関連論文リスト

• EgoSonics: Generating Synchronized Audio for Silent Egocentric Videos [3.6078215038168473]
  EgoSonicsは,サイレントなエゴセントリックなビデオに条件付けされた意味論的に意味があり,同期された音声トラックを生成する手法である。 サイレントなエゴセントリックなビデオのためのオーディオを生成することは、仮想現実、補助技術、または既存のデータセットを拡大するための新しいアプリケーションを開く可能性がある。
  論文  参考訳（メタデータ） (2024-07-30T06:57:00Z)
• Audiobox: Unified Audio Generation with Natural Language Prompts [37.39834044113061]
  本稿では,様々な音響モダリティを生成可能なフローマッチングに基づく統一モデルであるAudioboxを提案する。 我々は、制御性を高め、音声および音声生成パラダイムを統一するために、記述ベースおよび例ベースプロンプトを設計する。 Audioboxは、音声と音声の生成に関する新しいベンチマークを設定し、新しい音声と音響のスタイルで音声を生成する新しいメソッドをアンロックする。
  論文  参考訳（メタデータ） (2023-12-25T22:24:49Z)
• AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
  本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。 残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
  論文  参考訳（メタデータ） (2023-08-23T18:20:59Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)
• HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models [25.966328901566815]
  ニューラルオーディオと潜時拡散モデルを用いた高品質な歌声合成システムHiddenSingerを提案する。 さらに,提案手法を教師なし音声学習フレームワークであるHiddenSinger-Uに拡張し,モデルを訓練する。 実験結果から,従来のモデルよりも音質が優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-12T01:21:41Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data [9.072124914105325]
  本稿では、弱いラベル付きビデオ記録から音を認識することを学習するオーディオ視覚融合モデルを提案する。 大規模音響イベントデータセットであるAudioSetの実験は,提案モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-29T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。