論文の概要: Prompt Distribution Learning

• arxiv url: http://arxiv.org/abs/2205.03340v1
• Date: Fri, 6 May 2022 16:22:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-09 13:23:39.437006
• Title: Prompt Distribution Learning
• Title（参考訳）: プロンプト分布学習
• Authors: Yuning Lu, Jianzhuang Liu, Yonggang Zhang, Yajing Liu, Xinmei Tian
• Abstract要約: 下流認識タスクに対処するために,事前学習した視覚言語モデルに適応するための即時分布学習を提案する。 提案手法は,少数のサンプルから低バイアスプロンプトを学習するだけでなく,様々な視覚的表現を扱うための多様なプロンプトの分布も捉える。 このプロンプト分布学習は、入力埋め込みの代わりにプロンプトの出力埋め込みを学習する効率的なアプローチによって実現される。
• 参考スコア（独自算出の注目度）: 46.46876752213575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present prompt distribution learning for effectively adapting a pre-trained vision-language model to address downstream recognition tasks. Our method not only learns low-bias prompts from a few samples but also captures the distribution of diverse prompts to handle the varying visual representations. In this way, we provide high-quality task-related content for facilitating recognition. This prompt distribution learning is realized by an efficient approach that learns the output embeddings of prompts instead of the input embeddings. Thus, we can employ a Gaussian distribution to model them effectively and derive a surrogate loss for efficient training. Extensive experiments on 12 datasets demonstrate that our method consistently and significantly outperforms existing methods. For example, with 1 sample per category, it relatively improves the average result by 9.1% compared to human-crafted prompts.
• Abstract（参考訳）: そこで本研究では,事前学習した視覚言語モデルを用いて下流認識課題に効果的に適応するための素早い分布学習を提案する。 提案手法は,少数のサンプルから低バイアスプロンプトを学習するだけでなく,様々な視覚表現を扱うための多様なプロンプトの分布も捉える。 このようにして、認識を容易にするための高品質なタスク関連コンテンツを提供する。 このプロンプト分布学習は、入力埋め込みの代わりにプロンプトの出力埋め込みを学ぶ効率的なアプローチによって実現される。 したがって、ガウス分布を効果的にモデル化し、効率的な訓練のための代理損失を導出することができる。 12のデータセットに対する大規模な実験により、我々の手法は既存の手法よりも一貫して大幅に優れていることが示された。 例えば、1つのカテゴリに1つのサンプルがある場合、人造プロンプトに比べて平均結果を9.1%改善する。

関連論文リスト

• Adaptive teachers for amortized samplers [76.88721198565861]
  償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。 オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。 そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T11:33:13Z)
• When Does Visual Prompting Outperform Linear Probing for Vision-Language Models? A Likelihood Perspective [57.05315507519704]
  本稿では,視覚的プロンプトと線形探索の利点を比較分析するために,ログ類似率(LLR)アプローチを提案する。 本測定は,最大で100倍の時間短縮が可能であり,予測精度は最大91%に達する。
  論文  参考訳（メタデータ） (2024-09-03T12:03:45Z)
• Self-Knowledge Distillation for Learning Ambiguity [11.755814660833549]
  最近の言語モデルは、その正確さを考慮せずに単一のラベルを過度に予測することが多い。 本稿では,ラベル分布をより正確に学習できる新しい自己知識蒸留法を提案する。 本手法を多種多様なNLUベンチマークデータセットで検証し,実験結果から,より優れたラベル分布を生成する上での有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-14T05:11:32Z)
• Simple and effective data augmentation for compositional generalization [64.00420578048855]
  MRをサンプリングし,それらを逆翻訳するデータ拡張法は,合成一般化に有効であることを示す。 注目すべきは、一様分布からのサンプリングは、テスト分布からのサンプリングとほぼ同等に実行されることである。
  論文  参考訳（メタデータ） (2024-01-18T09:13:59Z)
• POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution Samples [19.311470287767385]
  そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。 提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T18:59:21Z)
• Squeezing Backbone Feature Distributions to the Max for Efficient Few-Shot Learning [3.1153758106426603]
  ラベル付きサンプルの少ない使用によって生じる不確実性のため、ほとんどショット分類が難しい問題である。 本稿では,特徴ベクトルをガウス分布に近づけるように処理するトランスファーベース手法を提案する。 また,学習中に未学習のサンプルが利用可能となる多段階的数ショット学習では,達成された性能をさらに向上させる最適なトランスポートインスピレーションアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2021-10-18T16:29:17Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• An Effective Baseline for Robustness to Distributional Shift [5.627346969563955]
  ディープラーニングシステムの安全なデプロイには,トレーニング中に見られるものと異なる入力のカテゴリに直面した場合,確実な予測を控えることが重要な要件である。 本論文では, 吸収の原理を用いた分布異常検出の簡便かつ高効率な手法を提案する。
  論文  参考訳（メタデータ） (2021-05-15T00:46:11Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。