論文の概要: Audio Contrastive-based Fine-tuning: Decoupling Representation Learning and Classification

• arxiv url: http://arxiv.org/abs/2309.11895v4
• Date: Mon, 22 Sep 2025 01:22:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.561757
• Title: Audio Contrastive-based Fine-tuning: Decoupling Representation Learning and Classification
• Title（参考訳）: 音響コントラストに基づくファインチューニング:デカップリング表現学習と分類
• Authors: Yang Wang, Qibin Liang, Chenghao Xiao, Yizhi Li, Noura Al Moubayed, Chenghua Lin,
• Abstract要約: 本稿では、下流評価から表現の洗練を分離する2段階のアンタングル化フレームワークを提案する。 まず、モデルの埋め込み空間の幾何学的構造を明示的に改善するために「コントラストチューニング」ステージを用いる。 次に、幾何学的観点からこれらの洗練された表現の質を評価するために、双対プローブ評価プロトコルを導入する。
• 参考スコア（独自算出の注目度）: 26.82307246813389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard fine-tuning of pre-trained audio models couples representation learning with classifier training, which can obscure the true quality of the learned representations. In this work, we advocate for a disentangled two-stage framework that separates representation refinement from downstream evaluation. First, we employ a "contrastive-tuning" stage to explicitly improve the geometric structure of the model's embedding space. Subsequently, we introduce a dual-probe evaluation protocol to assess the quality of these refined representations from a geometric perspective. This protocol uses a linear probe to measure global linear separability and a k-Nearest Neighbours probe to investigate the local structure of class clusters. Our experiments on a diverse set of audio classification tasks show that our framework provides a better foundation for classification, leading to improved accuracy. Our newly proposed dual-probing framework acts as a powerful analytical lens, demonstrating why contrastive learning is more effective by revealing a superior embedding space. It significantly outperforms vanilla fine-tuning, particularly on single-label datasets with a large number of classes, and also surpasses strong baselines on multi-label tasks using a Jaccard-weighted loss. Our findings demonstrate that decoupling representation refinement from classifier training is a broadly effective strategy for unlocking the full potential of pre-trained audio models. Our code will be publicly available.
• Abstract（参考訳）: 事前学習された音声モデルの標準的な微調整は、表現学習と分類器学習を結びつけ、学習された表現の真の品質を曖昧にすることができる。 本研究では、下流評価から表現の洗練を分離する2段階のアンタングル化フレームワークを提案する。 まず、モデルの埋め込み空間の幾何学的構造を明示的に改善するために「コントラストチューニング」ステージを用いる。 その後、幾何学的観点からこれらの洗練された表現の質を評価するための二重プローブ評価プロトコルを導入する。 このプロトコルは、大域的な線形分離性を測定するために線形プローブと、クラスクラスタの局所構造を調べるためにk-Nearest Neighboursプローブを使用する。 音声分類タスクの多種多様な集合に関する実験により、我々のフレームワークはより優れた分類基盤を提供し、精度が向上することを示した。 新たに提案したデュアルプローブフレームワークは強力な解析レンズとして機能し,優れた埋め込み空間を明らかにすることで,コントラスト学習がより効果的であることを示す。 特に多数のクラスを持つシングルラベルデータセットではバニラの微調整に優れており、ジャカルド重み付き損失を使用してマルチラベルタスクの強いベースラインを超えている。 本研究は,表現の洗練を分類器訓練から切り離すことが,事前学習した音声モデルの潜在能力を最大限に活用するための広範に効果的な戦略であることを示す。 私たちのコードは公開されます。

関連論文リスト

• AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation [55.607230723223346]
  本研究は,Large Audio Model (LAM) をAudioJudgeの裁判官として体系的に研究し,両課題に対処する統一評価フレームワークを提供することができるかどうかを検討する。 本稿では、発音、発話速度、話者識別、音声品質、自動ベンチマークのためのシステムレベルの人間の嗜好シミュレーションなど、音声特徴検出タスクにまたがるAudioJudgeについて検討する。 本稿では,多視点アンサンブルAudioJudgeを導入し,音声評価を語彙内容,音声品質,パラ言語特徴の専門判断者に分解し,人間の嗜好と最大0.91のスピアマン相関を達成させる手法を提案する。
  論文  参考訳（メタデータ） (2025-07-17T00:39:18Z)
• Discrete Audio Tokens: More Than a Survey! [107.69720675124255]
  本稿では,離散型音声トークンの体系的レビューとベンチマークを行う。 音声、音楽、一般的なオーディオドメインをカバーしている。 本稿では,エンコーダデコーダ,量子化技術,トレーニングパラダイム,ストリーム性,アプリケーションドメインに基づくトークン化アプローチの分類法を提案する。
  論文  参考訳（メタデータ） (2025-06-12T01:35:43Z)
• $C^2$AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction [80.57232374640911]
  我々はMask-And-Recover (MAR)と呼ばれるモデルに依存しない戦略を提案する。 MARは、モダリティ間およびモダリティ間コンテキスト相関を統合し、抽出モジュール内の大域的推論を可能にする。 各サンプルの難易度を向上するために, 精細信頼スコア(FCS)モデルを導入する。
  論文  参考訳（メタデータ） (2025-04-01T13:01:30Z)
• Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning [55.2480439325792]
  大規模な音声言語モデル (LALM) は、音声および音声情報の理解と推論に優れた能力を示している。 これらのモデルは、既存の音のイベントを幻覚させ、音のイベントの順序を誤認し、誤って音源を帰属させるなど、依然として課題に直面している。
  論文  参考訳（メタデータ） (2024-10-21T15:55:27Z)
• Multimodal Imbalance-Aware Gradient Modulation for Weakly-supervised Audio-Visual Video Parsing [107.031903351176]
  弱分離型音声視覚ビデオ解析(WS-AVVP)は、音声、視覚および音声視覚イベントインスタンスの時間的範囲をローカライズすることを目的としている。 WS-AVVPは、トレーニング用にビデオレベルのカテゴリラベルのみを使用して、対応するイベントカテゴリを特定することを目的としている。
  論文  参考訳（メタデータ） (2023-07-05T05:55:10Z)
• Multi-source Domain Adaptation for Text-independent Forensic Speaker Recognition [36.83842373791537]
  話者認識システムを新しい環境に適応させることは、良好な性能モデルを改善するために広く使われている手法である。 従来の研究では、複数の音響領域からトレーニングデータを収集するより実践的なシナリオを無視した単一ドメイン適応に焦点が当てられていた。 複数の音響領域にまたがる適応性能を高めるために,3つの新しい適応手法を提案する。
  論文  参考訳（メタデータ） (2022-11-17T22:11:25Z)
• Inference and Denoise: Causal Inference-based Neural Speech Enhancement [83.4641575757706]
  本研究では、雑音の存在を介入としてモデル化することにより、因果推論パラダイムにおける音声強調(SE)課題に対処する。 提案した因果推論に基づく音声強調(CISE)は,ノイズ検出器を用いて間欠雑音音声中のクリーンフレームとノイズフレームを分離し,両フレームセットを2つのマスクベース拡張モジュール(EM)に割り当て,ノイズ条件SEを実行する。
  論文  参考訳（メタデータ） (2022-11-02T15:03:50Z)
• Noise-Tolerant Learning for Audio-Visual Action Recognition [31.641972732424463]
  ビデオデータセットは通常、粗い注釈付きまたはインターネットから収集される。 本稿では,雑音ラベルと雑音対応の両方に対して,反干渉モデルパラメータを求めるための耐雑音性学習フレームワークを提案する。 本手法は,動作認識モデルのロバスト性を大幅に向上し,ベースラインをクリアマージンで越える。
  論文  参考訳（メタデータ） (2022-05-16T12:14:03Z)
• Robust Audio-Visual Instance Discrimination [79.74625434659443]
  音声・映像表現を学習するための自己指導型学習法を提案する。 視聴覚インスタンスの識別の問題に対処し、転送学習パフォーマンスを向上させます。
  論文  参考訳（メタデータ） (2021-03-29T19:52:29Z)
• Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
  本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。 2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。 4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
  論文  参考訳（メタデータ） (2020-07-14T05:46:27Z)
• A Sequential Self Teaching Approach for Improving Generalization in Sound Event Recognition [11.559570255513217]
  学習音に対する逐次自己学習手法を提案する。 弱いラベル付きまたは/またはうるさいラベル付きデータから、悪い状況下での音の学習は困難である。 提案手法は,与えられたモデリングシステムの一般化能力を向上する逐次段階学習プロセスである。
  論文  参考訳（メタデータ） (2020-06-30T22:53:43Z)
• COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio Representations [32.456824945999465]
  本稿では,学習した音声とその関連タグの潜在表現を調整し,音声表現を学習する手法を提案する。 組込みモデルの性能評価を行い,その性能を3つの異なるタスクにおける特徴抽出器として評価した。
  論文  参考訳（メタデータ） (2020-06-15T13:17:18Z)
• Audio Impairment Recognition Using a Correlation-Based Feature Representation [85.08880949780894]
  本稿では,特徴対の相関に基づく手作り特徴の新しい表現を提案する。 実験段階において,コンパクトな特徴次元と計算速度の向上の観点から,優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-22T13:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。