論文の概要: Multiple Consistency-guided Test-Time Adaptation for Contrastive Audio-Language Models with Unlabeled Audio

• arxiv url: http://arxiv.org/abs/2412.17306v1
• Date: Mon, 23 Dec 2024 05:53:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:55:56.741286
• Title: Multiple Consistency-guided Test-Time Adaptation for Contrastive Audio-Language Models with Unlabeled Audio
• Title（参考訳）: 非ラベル音声を用いたコントラスト型音声言語モデルの複数整合誘導テスト時間適応
• Authors: Gongyu Chen, Haomin Zhang, Chaofan Ding, Zihao Chen, Xinhan Di,
• Abstract要約: 本稿では,アノテートラベルのない事前学習型音声言語モデルの試験時間適応手法を提案する。 提案手法を適用すれば平均0ショット性能が4.41%(最大7.50%)向上する。
• 参考スコア（独自算出の注目度）: 4.150189195092493
• License:
• Abstract: One fascinating aspect of pre-trained Audio-Language Models (ALMs) learning is their impressive zero-shot generalization capability and test-time adaptation (TTA) methods aiming to improve domain performance without annotations. However, previous test time adaptation (TTA) methods for ALMs in zero-shot classification tend to be stuck in incorrect model predictions. In order to further boost the performance, we propose multiple guidance on prompt learning without annotated labels. First, guidance of consistency on both context tokens and domain tokens of ALMs is set. Second, guidance of both consistency across multiple augmented views of each single test sample and contrastive learning across different test samples is set. Third, we propose a corresponding end-end learning framework for the proposed test-time adaptation method without annotated labels. We extensively evaluate our approach on 12 downstream tasks across domains, our proposed adaptation method leads to 4.41% (max 7.50%) average zero-shot performance improvement in comparison with the state-of-the-art models.
• Abstract（参考訳）: 事前学習されたオーディオ言語モデル(ALM)学習の1つの興味深い側面は、アノテーションなしでドメインパフォーマンスを向上させることを目的とした、ゼロショットの一般化機能とテスト時適応(TTA)メソッドである。 しかし、ゼロショット分類におけるALMの過去のテスト時間適応(TTA)法は、誤ったモデル予測に留まる傾向にある。 性能をさらに向上させるために,アノテートラベルを使わずに早期学習のための複数のガイダンスを提案する。 まず、ALMのコンテキストトークンとドメイントークンの整合性のガイダンスを設定します。 第二に、各テストサンプルの複数の拡張ビューにまたがる一貫性のガイダンスと、異なるテストサンプルにまたがる対照的な学習が設定される。 第3に,アノテートラベルを含まないテスト時間適応手法のエンド・エンド・ラーニング・フレームワークを提案する。 提案手法は,各領域にまたがる12のダウンストリームタスクに対するアプローチを広範に評価し,提案手法により,最先端モデルと比較して4.41% (max 7.50%) のゼロショット性能向上を実現した。

関連論文リスト

• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• BaFTA: Backprop-Free Test-Time Adaptation For Zero-Shot Vision-Language Models [20.88680592729709]
  本稿では,視覚言語モデルの試験時間適応のためのバックプロパゲーションフリーアルゴリズムBaFTAを提案する。 BaFTAは、投影された埋め込み空間内のオンラインクラスタリングを使用して、クラスセントロイドを直接推定する。 我々は,BaFTAが最先端の試験時間適応手法を効率と効率の両方で一貫して上回っていることを実証した。
  論文  参考訳（メタデータ） (2024-06-17T08:16:24Z)
• PromptSync: Bridging Domain Gaps in Vision-Language Models through Class-Aware Prototype Alignment and Discrimination [14.50214193838818]
  CLIPのようなビジョン言語(V-L)モデルのゼロショット一般化は、広く採用されている。 従来の手法では、テスト時のプロンプトチューニングを使用して、モデルを目に見えない領域に適応させたが、不均衡なクラス分布の問題を見落としていた。 本研究では,テストサンプルとフィルタ付き拡張ビューで得られた平均クラス確率によって重み付けされたクラス認識型プロトタイプアライメントを採用する。
  論文  参考訳（メタデータ） (2024-04-11T07:26:00Z)
• In-context Prompt Learning for Test-time Vision Recognition with Frozen Vision-language Model [13.983810804606264]
  In-Context Prompt Learning (InCPL) を提案する。 InCPLは、コンテキスト情報としてラベル付き例がほとんどない新しいテストサンプルを関連付けている。 テストサンプルに適した視覚的プロンプトを最適化するために、コンテキスト対応の教師なし損失を導入する。
  論文  参考訳（メタデータ） (2024-03-10T08:15:51Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration [12.334422701057674]
  In-context Learning のための近辺校正フレームワークを提案する。 インコンテキスト学習パラダイムは、トレーニングインスタンスを推論する際に誤ったラベルを生成するという現象にインスパイアされている。 テキスト分類タスクの多種多様な実験により,本手法はテキスト内学習を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-12-05T12:49:41Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。