Fugu-MT 論文翻訳(概要): DF-PALM: Dynamic Fusion Prompt Learning for Audio--Language Models

論文の概要: DF-PALM: Dynamic Fusion Prompt Learning for Audio--Language Models

arxiv url: http://arxiv.org/abs/2610.24921v1
Date: Sun, 18 Oct 2026 00:02:04 GMT
ステータス: 情報取得中
システム内更新日: 2026-10-20 22:39:20.580075
Title: DF-PALM: Dynamic Fusion Prompt Learning for Audio--Language Models
Title（参考訳）: DF-PALM:オーディオ言語モデルのためのダイナミックフュージョン・プロンプト学習
Abstract要約: 限られたラベル付きデータと可変音響イベントを区別するために、音声モデルを必要とする音声分類は少ない。 Palmの主な定式化は、事前訓練されたエンコーダを変更することなく、エンコードされたクラス表現に適応するが、そのクラス表現は入出力に依存しないままである。本稿では,音声条件付きクラス表現と非対称なクロスアテンションを組み合わせた動的特徴空間プロンプトフレームワークDF-PALMを紹介する。
参考スコア（独自算出の注目度）: 57.25672896669361
License:
Abstract: Few-shot audio classification requires audio--language models to distinguish variable acoustic events from limited labeled data. PALM's main formulation adapts encoded class representations without changing pretrained encoders, but its class representations remain input-independent and classification uses audio features without class-conditioned refinement. We introduce DF-PALM, a dynamic feature-space prompting framework that combines audio-conditioned class representations with asymmetric cross-attention for audio refinement. Class representations are conditioned after text encoding, held fixed across fusion layers for each input, and reused for final scoring. Both pretrained encoders remain frozen, avoiding audio-conditioned text-encoder passes. With PENGI as the frozen backbone, the main 16-shot evaluation covered 11 benchmarks and six baselines. DF-PALM achieved 80.69% mean accuracy and 80.32% macro-averaged F1, exceeding PALM by 4.11 and 4.30 percentage points, respectively. Paired benchmark-level tests supported both gains after Holm correction. Across four shot settings, DF-PALM achieved the highest mean accuracy and macro-averaged F1 among the four evaluated prompt-learning methods. The gains extended to LAION-CLAP and OpenFLAM, with significant improvements over PALM in both metrics. At 50 candidate classes, operator-counted inference floating-point operations increased by 0.39% relative to PALM. These results support instance-conditioned feature-space adaptation as an effective approach to few-shot audio classification. Our code is publicly available at GitHub https://github.com/sunyulin0421/DF-PALM.
Abstract（参考訳）: 限られたラベル付きデータと可変音響イベントを区別するために、音声言語モデルを必要とする音声分類は少ない。 PALMの主な定式化は、事前訓練されたエンコーダを変更することなく、エンコードされたクラス表現を適応させるが、そのクラス表現は入力独立であり、クラス条件の洗練を伴わないオーディオ特徴を使用する。本稿では,音声条件付きクラス表現と非対称なクロスアテンションを組み合わせた動的特徴空間プロンプトフレームワークDF-PALMを紹介する。クラス表現はテキストエンコーディング後に条件付けされ、各入力に対して融合層に固定され、最終的なスコアリングのために再利用される。両方の事前訓練されたエンコーダは、オーディオコンディショニングされたテキストエンコーダパスを避けるため、凍結状態のままである。 PENGIを冷凍バックボーンとして、主要な16ショット評価は11のベンチマークと6つのベースラインをカバーした。 DF-PALMの平均精度は80.69%、マクロ平均F1は80.32%で、それぞれ4.11倍と4.30ポイントを超えた。ベンチマークレベルのペアテストは、ホルム修正後の両方の利上げを支持した。 4つのショット設定において,DF-PALMは,評価された4つのプロンプト学習手法の中で,最高平均精度とマクロ平均F1を達成した。改善はLAION-CLAPとOpenFLAMに拡張され、両方のメトリクスでPALMよりも大幅に改善された。 50の候補クラスにおいて,演算子数推定浮動小数点演算はPALMと比較して0.39%増加した。これらの結果は、少数ショット音声分類に対する効果的なアプローチとして、インスタンス条件付き特徴空間適応をサポートする。私たちのコードはGitHub https://github.com/sunyulin0421/DF-PALMで公開されています。

関連論文リスト

Sample-Conditioned Representation Selection for Audio Few-Shot Learning [14.872888820695666]
音声分類器は、前景と後景の共起に頼り、それらの相関が変化すると失敗することがある。本稿では,各入力に対して独立に固定予算特徴マスクを予測するSAMPLESELECTを提案する。一致した全表現制御を4.90-8.38ポイント改善する。
論文参考訳（メタデータ） (2026-09-15T12:15:12Z)
Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification [0.37331950863394864]
11種類の音声分類法をベンチマークする。我々は,2,242本以上のクリップをクローズドセットした音源識別タスクで評価した。最も優れたモデルであるGemini-3.1-Pro-Previewは85.6%のカテゴリーレベルのF1と56.7%の微粒なF1に達する。
論文参考訳（メタデータ） (2026-08-03T15:39:57Z)
Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
論文参考訳（メタデータ） (2026-01-29T12:16:19Z)
AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文参考訳（メタデータ） (2025-08-29T07:40:39Z)
FlowDubber: Movie Dubbing with LLM-based Semantic-aware Learning and Flow Matching based Voice Enhancing [81.3306413498174]
Movie Dubbingは、スクリプトを、時間的および感情的な両方の面において、所定の映画クリップと整合するスピーチに変換することを目的としている。既存の手法は、リップシンクと音響品質の重要性を無視しながら、単語エラー率の低減に重点を置いている。ダビングのための大規模言語モデル(LLM)に基づくフローマッチングアーキテクチャであるFlowDubberを提案する。
論文参考訳（メタデータ） (2025-05-02T13:30:19Z)
CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
論文参考訳（メタデータ） (2025-05-02T12:59:58Z)
Machine Learning Framework for Audio-Based Content Evaluation using MFCC, Chroma, Spectral Contrast, and Temporal Feature Engineering [0.0]
そこで本研究では,YouTube上の音楽カバーの音声サンプルと,オリジナル曲の音声とユーザコメントからの感情スコアを含むデータセットを構築した。我々のアプローチは、広範囲な事前処理、音声信号を30秒のウィンドウに分割し、高次元の特徴表現を抽出することである。回帰モデルを用いて感情スコアを0-100スケールで予測し,それぞれ3.420,5.482,2.783,4.212の根平均二乗誤差(RMSE)値を達成する。
論文参考訳（メタデータ） (2024-10-31T20:26:26Z)
Transformer-based Sequence Labeling for Audio Classification based on MFCCs [0.0]
本稿では,MFCCを用いた音声分類のためのトランスフォーマーエンコーダモデルを提案する。モデルはESC-50、Speech Commands v0.02、UrbanSound8kのデータセットに対してベンチマークされ、高いパフォーマンスを示している。モデルは127,544の合計パラメータで構成されており、オーディオ分類タスクでは軽量だが高効率である。
論文参考訳（メタデータ） (2023-04-30T07:25:43Z)
Improving Post-Processing of Audio Event Detectors Using Reinforcement Learning [5.758073912084364]
我々は,ポストプロセッシングスタックの様々な段階における最適パラメータを共同で発見するために強化学習を用いる。音声イベントベースのマクロF1スコアを4-5%改善できることがわかった。
論文参考訳（メタデータ） (2022-08-19T08:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。