論文の概要: Domain Adaptation Method and Modality Gap Impact in Audio-Text Models for Prototypical Sound Classification

• arxiv url: http://arxiv.org/abs/2506.04376v1
• Date: Wed, 04 Jun 2025 18:45:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.384194
• Title: Domain Adaptation Method and Modality Gap Impact in Audio-Text Models for Prototypical Sound Classification
• Title（参考訳）: 原音分類のための音声テキストモデルにおける領域適応法とモダリティギャップの影響
• Authors: Emiliano Acevedo, Martín Rocamora, Magdalena Fuentes,
• Abstract要約: 音声テキストモデルの性能は背景音源の存在によって著しく低下することを示す。 そこで本研究では,背景資料の分類過程への寄与を定量化し,統合する手法を提案する。
• 参考スコア（独自算出の注目度）: 1.5749003231415997
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Audio-text models are widely used in zero-shot environmental sound classification as they alleviate the need for annotated data. However, we show that their performance severely drops in the presence of background sound sources. Our analysis reveals that this degradation is primarily driven by SNR levels of background soundscapes, and independent of background type. To address this, we propose a novel method that quantifies and integrates the contribution of background sources into the classification process, improving performance without requiring model retraining. Our domain adaptation technique enhances accuracy across various backgrounds and SNR conditions. Moreover, we analyze the modality gap between audio and text embeddings, showing that narrowing this gap improves classification performance. The method generalizes effectively across state-of-the-art prototypical approaches, showcasing its scalability and robustness for diverse environments.
• Abstract（参考訳）: 音声テキストモデルは、アノテートされたデータの必要性を軽減するため、ゼロショット環境音分類において広く使われている。 しかし,その性能は背景音源の存在によって著しく低下することがわかった。 分析の結果, この劣化は主に背景音環境のSNRレベルが原因であり, 背景タイプに依存しないことが判明した。 そこで本研究では,モデルの再学習を必要とせずに,背景ソースの分類プロセスへの貢献を定量化し,統合する手法を提案する。 我々の領域適応技術は、様々な背景やSNR条件の精度を向上させる。 さらに,音声とテキストの埋め込みにおけるモダリティギャップを分析し,このギャップを狭めることで分類性能が向上することを示した。 この手法は最先端のプロトタイプアプローチを効果的に一般化し、多様な環境に対するスケーラビリティと堅牢性を示す。

関連論文リスト

• DiffATR: Diffusion-based Generative Modeling for Audio-Text Retrieval [49.076590578101985]
  ノイズから関節分布を生成する拡散型ATRフレームワーク(DiffATR)を提案する。 優れたパフォーマンスを持つAudioCapsとClothoデータセットの実験は、我々のアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-16T06:33:26Z)
• An Effective Deployment of Diffusion LM for Data Augmentation in Low-Resource Sentiment Classification [2.0930389307057427]
  感性分類(SC)は、ドメイン固有のコンテキスト、不均衡なラベル分布、少数ショットシナリオなど、低リソースの課題に悩まされることが多い。 我々はDiffusion LMを提案し、強力なラベル関連トークンを再構成することでドメイン内の知識を捕捉し、擬似サンプルを生成する。
  論文  参考訳（メタデータ） (2024-09-05T02:51:28Z)
• Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation [25.410770364140856]
  クロスドメイン音声強調(SE)は、目に見えない対象領域におけるノイズや背景情報の不足により、しばしば深刻な課題に直面している。 本研究では,ノイズ抽出技術とGANを利用した新しいデータシミュレーション手法を提案する。 本研究では,動的摂動の概念を導入し,制御された摂動を推論中の雑音埋め込みに注入する。
  論文  参考訳（メタデータ） (2024-09-03T02:29:01Z)
• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Empowering Diffusion Models on the Embedding Space for Text Generation [38.664533078347304]
  埋め込み空間とデノナイジングモデルの両方で直面する最適化課題について検討する。 データ分散は埋め込みにおいて学習可能であり、埋め込み空間の崩壊と不安定なトレーニングにつながる可能性がある。 以上の解析に基づいて,Transformerに基づく埋め込み拡散モデルであるDifformerを提案する。
  論文  参考訳（メタデータ） (2022-12-19T12:44:25Z)
• A Review of Sound Source Localization with Deep Learning Methods [71.18444724397486]
  本稿では,単音源および複数音源の音源定位のための深層学習手法について概説する。 この文脈におけるニューラルネットワークを用いた局所化文献の網羅的なトポグラフィーを提供する。 文献レビューを要約したテーブルをレビューの最後に提供し、所定の対象特性のセットでメソッドを素早く検索する。
  論文  参考訳（メタデータ） (2021-09-08T07:25:39Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。