論文の概要: Synthio: Augmenting Small-Scale Audio Classification Datasets with Synthetic Data

• arxiv url: http://arxiv.org/abs/2410.02056v1
• Date: Wed, 2 Oct 2024 22:05:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:15:24.928204
• Title: Synthio: Augmenting Small-Scale Audio Classification Datasets with Synthetic Data
• Title（参考訳）: Synthio: 合成データによる小規模オーディオ分類データセットの強化
• Authors: Sreyan Ghosh, Sonal Kumar, Zhifeng Kong, Rafael Valle, Bryan Catanzaro, Dinesh Manocha,
• Abstract要約: 音声分類データセットを合成データで拡張する新しい手法であるSynthioを提案する。 最初の課題を克服するために、好みの最適化を用いて、T2Aモデルの世代と小規模データセットを整列する。 2つ目の課題に対処するために,大規模言語モデルの推論能力を活用する新しいキャプション生成手法を提案する。
• 参考スコア（独自算出の注目度）: 69.7174072745851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Synthio, a novel approach for augmenting small-scale audio classification datasets with synthetic data. Our goal is to improve audio classification accuracy with limited labeled data. Traditional data augmentation techniques, which apply artificial transformations (e.g., adding random noise or masking segments), struggle to create data that captures the true diversity present in real-world audios. To address this shortcoming, we propose to augment the dataset with synthetic audio generated from text-to-audio (T2A) diffusion models. However, synthesizing effective augmentations is challenging because not only should the generated data be acoustically consistent with the underlying small-scale dataset, but they should also have sufficient compositional diversity. To overcome the first challenge, we align the generations of the T2A model with the small-scale dataset using preference optimization. This ensures that the acoustic characteristics of the generated data remain consistent with the small-scale dataset. To address the second challenge, we propose a novel caption generation technique that leverages the reasoning capabilities of Large Language Models to (1) generate diverse and meaningful audio captions and (2) iteratively refine their quality. The generated captions are then used to prompt the aligned T2A model. We extensively evaluate Synthio on ten datasets and four simulated limited-data settings. Results indicate our method consistently outperforms all baselines by 0.1%-39% using a T2A model trained only on weakly-captioned AudioSet.
• Abstract（参考訳）: 音声分類データセットを合成データで拡張する新しい手法であるSynthioを提案する。 我々の目標は、ラベル付きデータによる音声分類精度を向上させることである。 従来のデータ拡張技術は、人工的な変換(例えば、ランダムなノイズやマスキングセグメントを追加する)を適用し、現実世界のオーディオに存在する真の多様性をキャプチャするデータを作成するのに苦労している。 この欠点に対処するために,テキスト・トゥ・オーディオ(T2A)拡散モデルから生成された合成音声を用いてデータセットを拡張することを提案する。 しかし, 有効拡張の合成は, 生成したデータが下位の小規模データセットと音響的に整合するだけでなく, 十分な構成多様性を持つ必要があるため, 困難である。 最初の課題を克服するために、好みの最適化を用いて、T2Aモデルの世代と小規模データセットを整列する。 これにより、生成されたデータの音響特性が小さなデータセットと一致し続けることが保証される。 2つ目の課題に対処するために,(1)多種多様な有意義な音声キャプションを生成し,(2)その品質を反復的に改善する,大規模言語モデルの推論能力を活用する新しいキャプション生成手法を提案する。 生成されたキャプションは、アライメントされたT2Aモデルを促すために使用される。 我々はSynthioを10のデータセットと4つのシミュレートされた限定データ設定で広範囲に評価した。 その結果,弱キャプション型AudioSetのみをトレーニングしたT2Aモデルを用いて,すべてのベースラインを0.1%～39%向上させることができた。

関連論文リスト

• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Video DataFlywheel: Resolving the Impossible Data Trinity in Video-Language Understanding [61.89781979702939]
  本研究では,事前学習データセットにおけるデータ量,多様性,品質の「不可能トリニティ」を定量的に明らかにする。 近年の取り組みは、合成アノテーションによって低品質で妥協された大規模で多様なASRデータセットを改良することを目指している。 我々は,ビデオアノテーションを改良されたノイズコントロール手法で反復的に洗練するVideo DataFlywheelフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-09-29T03:33:35Z)
• Contrastive Learning from Synthetic Audio Doppelgangers [1.3754952818114714]
  合成音声を利用したデータスケールと変換の制限に対する解決策を提案する。 音声合成器のパラメータをランダムに摂動することで、音色、ピッチ、時間的エンベロープの因果的に操作された変化を持つオーディオ・ドッペルグ・アンガー合成正ペアを生成する。 ランダムに生成された合成データへのシフトにもかかわらず,本手法は,標準音声分類ベンチマークにおける実データと競合する強力な表現を生成する。
  論文  参考訳（メタデータ） (2024-06-09T21:44:06Z)
• Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark [65.79402756995084]
  Real Acoustic Fields (RAF)は、複数のモードから実際の音響室データをキャプチャする新しいデータセットである。 RAFは密集した室内音響データを提供する最初のデータセットである。
  論文  参考訳（メタデータ） (2024-03-27T17:59:56Z)
• Schrodinger Bridges Beat Diffusion Models on Text-to-Speech Synthesis [35.16243386407448]
  Bridge-TTSは、確立された拡散に基づくTS法において、ノイズの多いガウスをクリーンで決定論的に置き換える新しいTSシステムである。 具体的には、テキスト入力から得られた潜伏表現を前もって利用し、それと地上トルス・メル・スペクトログラムの間に完全にトラクタブルなシュロディンガーブリッジを構築する。
  論文  参考訳（メタデータ） (2023-12-06T13:31:55Z)
• TarGEN: Targeted Data Generation with Large Language Models [51.87504111286201]
  TarGENは、高品質な合成データセットを生成するための、多段階のプロンプト戦略である。 我々は,LLMが不正確なラベル付きインスタンスを修正できるようにする自己補正法により,TarGENを増強する。 合成データセットを元のデータセットと比較した包括的な分析により、データセットの複雑さと多様性の類似または高いレベルが明らかになる。
  論文  参考訳（メタデータ） (2023-10-27T03:32:17Z)
• Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation [72.7915031238824]
  大規模な拡散モデルは、テキスト・トゥ・オーディオ(T2A)合成タスクで成功している。 意味的不一致や時間的一貫性の低下といった共通の問題に悩まされることが多い。 我々は,Make-an-Audioの成功に基づいて,潜伏拡散に基づくT2A法であるMake-an-Audio 2を提案する。
  論文  参考訳（メタデータ） (2023-05-29T10:41:28Z)
• Using growth transform dynamical systems for spatio-temporal data sonification [9.721342507747158]
  有意義な音声シグネチャで情報を符号化するソニフィケーションは、人間のループ内決定のための従来の可視化手法の強化や置き換えにいくつかの利点がある。 本稿では,複雑な成長変換力学系モデルを用いて高次元データを音化するための新しい枠組みを提案する。 本アルゴリズムは,学習タスクや予測タスクの根底にあるデータと最適化パラメータを入力として,ユーザが定義した心理パラメータと組み合わせる。
  論文  参考訳（メタデータ） (2021-08-21T16:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。