論文の概要: Contrastive Learning from Synthetic Audio Doppelgangers

• arxiv url: http://arxiv.org/abs/2406.05923v1
• Date: Sun, 9 Jun 2024 21:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 15:25:59.285989
• Title: Contrastive Learning from Synthetic Audio Doppelgangers
• Title（参考訳）: 合成音響ダッペルガンガーからのコントラスト学習
• Authors: Manuel Cherep, Nikhil Singh,
• Abstract要約: 合成音声を利用したデータスケールと変換の制限に対する解決策を提案する。 音声合成器のパラメータをランダムに摂動することで、音色、ピッチ、時間的エンベロープの因果的に操作された変化を持つオーディオ・ドッペルグ・アンガー合成正ペアを生成する。 ランダムに生成された合成データへのシフトにもかかわらず,本手法は,標準音声分類ベンチマークにおける実データと競合する強力な表現を生成する。
• 参考スコア（独自算出の注目度）: 1.3754952818114714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning robust audio representations currently demands extensive datasets of real-world sound recordings. By applying artificial transformations to these recordings, models can learn to recognize similarities despite subtle variations through techniques like contrastive learning. However, these transformations are only approximations of the true diversity found in real-world sounds, which are generated by complex interactions of physical processes, from vocal cord vibrations to the resonance of musical instruments. We propose a solution to both the data scale and transformation limitations, leveraging synthetic audio. By randomly perturbing the parameters of a sound synthesizer, we generate audio doppelg\"angers-synthetic positive pairs with causally manipulated variations in timbre, pitch, and temporal envelopes. These variations, difficult to achieve through transformations of existing audio, provide a rich source of contrastive information. Despite the shift to randomly generated synthetic data, our method produces strong representations, competitive with real data on standard audio classification benchmarks. Notably, our approach is lightweight, requires no data storage, and has only a single hyperparameter, which we extensively analyze. We offer this method as a complement to existing strategies for contrastive learning in audio, using synthesized sounds to reduce the data burden on practitioners.
• Abstract（参考訳）: 現在、ロバストな音声表現を学習するためには、現実世界の音声記録の広範なデータセットが必要である。 これらの記録に人工的な変換を適用することで、モデルは、対照的な学習のような技術を通じて微妙な変化にもかかわらず、類似性を認識することができる。 しかし、これらの変換は、声帯振動から楽器の共鳴まで、物理過程の複雑な相互作用によって生じる実世界の音の真の多様性の近似にすぎない。 合成音声を利用したデータスケールと変換の制限に対する解決策を提案する。 音声合成器のパラメータをランダムに摂動することにより、音色、ピッチ、時間エンベロープを因果的に操作した音響ドッペルg\"angers-synthetic positive pairsを生成する。 これらのバリエーションは、既存のオーディオの変換によって達成が困難であり、コントラスト情報の豊富な情報源を提供する。 ランダムに生成された合成データへのシフトにもかかわらず,本手法は,標準音声分類ベンチマークにおける実データと競合する強力な表現を生成する。 特に、我々のアプローチは軽量で、データストレージを必要とせず、1つのハイパーパラメータしか持たない。 本手法は,音声のコントラスト学習のための既存の手法を補完するものであり,実践者のデータ負担を軽減するために合成音を用いたものである。

関連論文リスト

• Robust AI-Synthesized Speech Detection Using Feature Decomposition Learning and Synthesizer Feature Augmentation [52.0893266767733]
  本稿では,特徴分解を利用して合成者非依存のコンテンツ特徴を学習する頑健なディープフェイク音声検出手法を提案する。 異なる合成器特性に対するモデルのロバスト性を高めるために,合成器の特徴増強戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-14T03:57:21Z)
• Developing an Effective Training Dataset to Enhance the Performance of AI-based Speaker Separation Systems [0.3277163122167434]
  本稿では,各話者に対して,混合信号と対応する接地真実を含む現実的な学習セットを構築するための新しい手法を提案する。 実感混合における話者分離精度向上のためのSI-SDR(Scale Invariant Signal to Distortion Ratio)を1.65dB改善した。
  論文  参考訳（メタデータ） (2024-11-13T06:55:18Z)
• Synthio: Augmenting Small-Scale Audio Classification Datasets with Synthetic Data [69.7174072745851]
  音声分類データセットを合成データで拡張する新しい手法であるSynthioを提案する。 最初の課題を克服するために、好みの最適化を用いて、T2Aモデルの世代と小規模データセットを整列する。 2つ目の課題に対処するために,大規模言語モデルの推論能力を活用する新しいキャプション生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T22:05:36Z)
• Synthesizer Sound Matching Using Audio Spectrogram Transformers [2.5944208050492183]
  音声スペクトログラム変換器を用いた合成音声マッチングモデルを提案する。 本モデルでは,16個のパラメータの集合から生成されたサンプルのパラメータを再構成可能であることを示す。 また、音声の模倣をエミュレートする際、ドメイン外モデルの性能を示す音声例も提供する。
  論文  参考訳（メタデータ） (2024-07-23T16:58:14Z)
• Self-Supervised Visual Acoustic Matching [63.492168778869726]
  音響マッチングは、ターゲットの音響環境に録音されたかのように、音声クリップを再合成することを目的としている。 そこで本研究では,対象のシーン画像と音声のみを含む,視覚的音響マッチングのための自己教師型アプローチを提案する。 提案手法は,条件付きGANフレームワークと新しいメトリクスを用いて,室内音響をアンタングル化し,音をターゲット環境に再合成する方法を共同で学習する。
  論文  参考訳（メタデータ） (2023-07-27T17:59:59Z)
• Boosting Fast and High-Quality Speech Synthesis with Linear Diffusion [85.54515118077825]
  本稿では, 常微分方程式に基づく線形拡散モデル(LinDiff)を提案する。 計算複雑性を低減するため、LinDiffでは、入力信号を小さなパッチに分割するパッチベースの処理アプローチを採用している。 我々のモデルは、より高速な合成速度で自己回帰モデルに匹敵する品質の音声を合成することができる。
  論文  参考訳（メタデータ） (2023-06-09T07:02:43Z)
• Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
  Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。 我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:59:26Z)
• Using growth transform dynamical systems for spatio-temporal data sonification [9.721342507747158]
  有意義な音声シグネチャで情報を符号化するソニフィケーションは、人間のループ内決定のための従来の可視化手法の強化や置き換えにいくつかの利点がある。 本稿では,複雑な成長変換力学系モデルを用いて高次元データを音化するための新しい枠組みを提案する。 本アルゴリズムは,学習タスクや予測タスクの根底にあるデータと最適化パラメータを入力として,ユーザが定義した心理パラメータと組み合わせる。
  論文  参考訳（メタデータ） (2021-08-21T16:25:59Z)
• VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
  本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。 提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
  論文  参考訳（メタデータ） (2020-03-30T16:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。