論文の概要: ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization in Audio-Language Models
- arxiv url: http://arxiv.org/abs/2606.31587v1
- Date: Tue, 30 Jun 2026 12:40:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.214453
- Title: ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization in Audio-Language Models
- Title(参考訳): ZEBRA:ゼロショットエントロピー規則化プロンプト学習による音声言語モデルのベース・ツー・ノーベル一般化
- Abstract要約: ZEBRAは、ゼロショットロジットとプロンプトラーニングロジットを融合するプラグイン・アンド・プレイフレームワークであり、ベースクラスへのオーバーフィットを減らすために自己エントロピー正規化を採用している。
ZEBRAは、高いベース精度を維持しながら、新しいクラスの性能を一貫して改善し、標準のプロンプト学習と比較して、ベースとノーベルのギャップを著しく低減する。
- 参考スコア(独自算出の注目度): 4.180844569001697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audio-Language Models (ALMs) achieve strong zero-shot performance by aligning audio with textual class descriptions. Although prompt learning improves accuracy on base classes through few-shot supervised adaptation, we observe a critical trade-off: it often degrades performance on novel classes, sometimes falling below zero-shot accuracy. This exposes a base-to-novel generalization gap in prompt learning for ALMs. To address this issue, we propose \textbf{ZEBRA} (Zero-shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization), a plug-and-play framework that fuses zero-shot logits with prompt-learning logits, and employs self-entropy regularization to reduce overfitting to base classes. Experiments across multiple audio classification datasets show that ZEBRA consistently improves novel-class performance while maintaining strong base accuracy, significantly reducing the base-to-novel gap compared to standard prompt learning. The code is available at: https://github.com/asif-hanif/zebra.
- Abstract(参考訳): 音声言語モデル(ALM)は、音声とテキストのクラス記述を整列することで、強力なゼロショット性能を実現する。
素早い学習は、数発の教師付き適応によってベースクラスの精度を向上させるが、重要なトレードオフとして、新しいクラスの性能を劣化させ、時にはゼロショットの精度を下回ることがある。
これにより、ALMの迅速な学習において、ベース・ツー・ノーベルな一般化のギャップが露呈する。
この問題に対処するために,ゼロショットロジットと即発学習ロジットを融合するプラグイン・アンド・プレイ・フレームワークである‘textbf{ZEBRA}(Zero-shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization)を提案する。
複数の音声分類データセットを対象とした実験により、ZEBRAは、高いベース精度を維持しながら、新しいクラスの性能を一貫して改善し、標準のプロンプト学習と比較して、ベースとノーベルのギャップを著しく減少させることが示された。
コードは、https://github.com/asif-hanif/zebra.comで入手できる。
関連論文リスト
- Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion [84.20493238687187]
単純な模倣を超えて、より深い概念的理解を具現化する新しい枠組みを導入する。
underlinetextitFirst, to address pattern memorization, Explanatory Inversion (EI) generated target explanatory probes'
underlinetextitSecondは、一般化を改善するために、Explainatory GRPO (texttEXGRPO) は、新しいダイアログ構造ユーティリティーボーナスを用いた強化学習アルゴリズムを使用する。
論文 参考訳(メタデータ) (2026-02-26T23:01:46Z) - Elementary, My Dear Watson: Non-Invasive Neural Keyword Spotting in the LibriBrain Dataset [1.497166779417398]
キーワードスポッティング(英: Keywords Spotting, KWS)は、脳とコンピュータのインターフェイスのための、プライバシーに配慮した中間タスクである。
我々は、単語レベルのデータローダとColab対応のチュートリアルを備えたpnplライブラリの更新版をリリースした。
論文 参考訳(メタデータ) (2025-10-23T22:44:50Z) - Class-Aware Prototype Learning with Negative Contrast for Test-Time Adaptation of Vision-Language Models [48.61795272482598]
VLM(Vision-Language Models)は、大規模な画像テキスト事前学習を通じて、印象的なゼロショットの一般化を実証する。
しかし、デプロイメントディストリビューションがトレーニングディストリビューションから分岐すると、パフォーマンスが低下する可能性がある。
テスト時間適応(TTA)メソッドは、ラベルのないターゲットデータを使用してモデルを更新する。
軽量TTAフレームワークである textbfNegative textbfContrast(textbfCPL-NC) を用いた textbfClass-Aware textbfPrototype textbfL を提案する。
論文 参考訳(メタデータ) (2025-10-22T17:38:35Z) - Unmute the Patch Tokens: Rethinking Probing in Multi-Label Audio Classification [8.07177858013243]
オーディオにおける自己教師型学習は、微調整をデフォルトとする。
本稿では,二項化プローブについて紹介する。二項化プローブは,プロトタイプを学習し,クラスワイズ情報アグリゲーションを行う軽量でシンプルなプーリング手法である。
我々の研究は、オーディオSSLモデルを評価するための競争的かつ効率的なパラダイムとして探索を確立し、コストのかかる微調整への依存に挑戦する。
論文 参考訳(メタデータ) (2025-09-29T15:11:18Z) - CAARMA: Class Augmentation with Adversarial Mixup Regularization [59.938216853878636]
話者検証は典型的なゼロショット学習課題である。
クラス拡張フレームワークであるCAARMAを紹介する。
当社のフレームワークは,すべてのベースラインモデルに対して,8%の大幅な改善を実現しています。
論文 参考訳(メタデータ) (2025-03-20T21:41:16Z) - IMO: Greedy Layer-Wise Sparse Representation Learning for Out-of-Distribution Text Classification with Pre-trained Models [56.10157988449818]
本研究は,モデルが1つのソースドメイン上でトレーニングされ,トレーニング中に見つからない複数のターゲットドメイン上でテストされる領域一般化の特定の問題に焦点を当てる。
Invariant features Masks for Out-of-Distribution text classification, to achieve OOD generalization by learning invariant features。
論文 参考訳(メタデータ) (2024-04-21T02:15:59Z) - TVTSv2: Learning Out-of-the-box Spatiotemporal Visual Representations at
Scale [59.01246141215051]
言語指導の観点から,その劣化要因を分析した。
本稿では,テキストエンコーダの一般化能力を維持するために,教師なし事前学習戦略を提案する。
最大10億のパラメータを持つTVTSv2と呼ばれる一連のモデルを作成します。
論文 参考訳(メタデータ) (2023-05-23T15:44:56Z) - Prediction Calibration for Generalized Few-shot Semantic Segmentation [101.69940565204816]
汎用Few-shot Semantic (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスか、クラスごとにわずかに(例: 1-5)のトレーニングイメージを持つ新しいクラスのいずれかに分割することを目的としている。
我々は、融合したマルチレベル機能を用いて、分類器の最終予測をガイドするクロスアテンションモジュールを構築する。
私たちのPCNは、最先端の代替品よりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2022-10-15T13:30:12Z) - Language Models in the Loop: Incorporating Prompting into Weak
Supervision [11.10422546502386]
本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。
典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
論文 参考訳(メタデータ) (2022-05-04T20:42:40Z) - Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。
広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
論文 参考訳(メタデータ) (2021-03-30T00:48:28Z) - Rethinking Generative Zero-Shot Learning: An Ensemble Learning
Perspective for Recognising Visual Patches [52.67723703088284]
我々はMPGAN(Multi-patch Generative Adversarial Nets)と呼ばれる新しいフレームワークを提案する。
MPGANは、新しい重み付き投票戦略で、ローカルパッチ機能とラベルが見えないクラスを合成する。
MPGANは最先端の手法よりもはるかに精度が高い。
論文 参考訳(メタデータ) (2020-07-27T05:49:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。