論文の概要: Improving Zero-shot Generalization of Learned Prompts via Unsupervised Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2407.03056v1
• Date: Wed, 3 Jul 2024 12:24:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:26:01.181440
• Title: Improving Zero-shot Generalization of Learned Prompts via Unsupervised Knowledge Distillation
• Title（参考訳）: 教師なし知識蒸留による学習プロンプトのゼロショット一般化の改善
• Authors: Marco Mistretta, Alberto Baldrati, Marco Bertini, Andrew D. Bagdanov,
• Abstract要約: より強力なモデルからの教師なし知識の蒸留に基づく学習を促す新しい手法を提案する。 我々はKDPL(Knowledge Distillation Prompt Learning)と呼ぶアプローチを,既存の即興学習技術に統合することができる。
• 参考スコア（独自算出の注目度）: 14.225723195634941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) demonstrate remarkable zero-shot generalization to unseen tasks, but fall short of the performance of supervised methods in generalizing to downstream tasks with limited data. Prompt learning is emerging as a parameter-efficient method for adapting VLMs, but state-of-the-art approaches require annotated samples. In this paper we propose a novel approach to prompt learning based on unsupervised knowledge distillation from more powerful models. Our approach, which we call Knowledge Distillation Prompt Learning (KDPL), can be integrated into existing prompt learning techniques and eliminates the need for labeled examples during adaptation. Our experiments on more than ten standard benchmark datasets demonstrate that KDPL is very effective at improving generalization of learned prompts for zero-shot domain generalization, zero-shot cross-dataset generalization, and zero-shot base-to-novel class generalization problems. KDPL requires no ground-truth labels for adaptation, and moreover we show that even in the absence of any knowledge of training class names it can be used to effectively transfer knowledge. The code is publicly available at https://github.com/miccunifi/KDPL.
• Abstract（参考訳）: VLM(Vision-Language Models)は、目に見えないタスクに対して顕著なゼロショットの一般化を示すが、限られたデータで下流タスクに一般化する教師付き手法のパフォーマンスには劣る。 プロンプト学習はVLMを適応するためのパラメータ効率のよい手法として登場しているが、最先端のアプローチでは注釈付きサンプルが必要である。 本稿では,より強力なモデルによる教師なし知識の蒸留に基づく学習を促す新しい手法を提案する。 我々はKDPL(Knowledge Distillation Prompt Learning)と呼ぶアプローチを,既存の即興学習技術に統合し,適応中にラベル付きサンプルを不要にする。 10以上の標準ベンチマークデータセットに対する実験により、KDPLはゼロショットドメイン一般化、ゼロショットクロスデータセット一般化、ゼロショットベース・ツー・ノーベルクラス一般化問題に対する学習プロンプトの一般化に非常に効果的であることが示された。 KDPLは適応のための基礎的なラベルを必要としておらず、トレーニングクラス名の知識がなくても、知識を効果的に伝達するために使用できることを示す。 コードはhttps://github.com/miccunifi/KDPLで公開されている。

関連論文リスト

• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Zero-Shot Generalization during Instruction Tuning: Insights from Similarity and Granularity [84.12126298229866]
  命令チューニング中のゼロショット一般化は非常に早い時期に行われることを示す。 また、「タスク」の制約を伴わずに、命令チューニング中に非常によく似た、きめ細かなトレーニングデータに遭遇することで、より一般化できることを示す。 インストラクションチューニング中のゼロショット一般化は、インスタンスレベルでのトレーニングとテストデータ間の類似性に基づく一般化の形式であることを示す。
  論文  参考訳（メタデータ） (2024-06-17T16:40:21Z)
• AAPL: Adding Attributes to Prompt Learning for Vision-Language Models [6.32186874112557]
  本稿では,学習可能なプロンプトのバイアスを誘発する際,高次クラス情報から低次視覚強調特徴を分離するための逆トークン埋め込みを提案する。 我々は11のデータセットに対して実験を行い、AAPLは、いくつかのショット学習、ゼロショット学習、クロスデータセット、ドメイン一般化タスクにおいて、既存の手法と比較して好成績を示した。
  論文  参考訳（メタデータ） (2024-04-25T17:51:10Z)
• Conditional Prototype Rectification Prompt Learning [32.533844163120875]
  本稿では, 基本事例のバイアスを補正し, 限られたデータを効果的に拡張するための, CPR(Prototype Rectification Prompt Learning)手法を提案する。 CPRは、いくつかのショット分類とベース・ツー・ニューな一般化タスクの両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-15T15:43:52Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
  メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。 別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。 そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:49Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)
• Learn from Anywhere: Rethinking Generalized Zero-Shot Learning with Limited Supervision [16.12500804569801]
  本稿では、他のデータクラスからのラベルなし画像を用いて一般化を改善する、帰納的ゼロ・少数ショット学習の実践的な設定を提案する。 我々は、製品・オブ・エキスパートに基づく定式化を活用し、データ・オブ・データ・クラスから未ラベルのサンプルを使用できる新しいAUDモジュールを導入しました。
  論文  参考訳（メタデータ） (2021-07-11T03:23:20Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。