論文の概要: A Simple Zero-shot Prompt Weighting Technique to Improve Prompt Ensembling in Text-Image Models

• arxiv url: http://arxiv.org/abs/2302.06235v2
• Date: Sat, 15 Jul 2023 11:12:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 23:18:23.430167
• Title: A Simple Zero-shot Prompt Weighting Technique to Improve Prompt Ensembling in Text-Image Models
• Title（参考訳）: テキスト画像モデルにおける簡単なゼロショットプロンプト重み付け手法
• Authors: James Urquhart Allingham, Jie Ren, Michael W Dusenberry, Xiuye Gu, Yin Cui, Dustin Tran, Jeremiah Zhe Liu, Balaji Lakshminarayanan
• Abstract要約: 我々は,プロンプトエンジニアリングの自動化と,プロンプトアンサンブルによるゼロショット精度の向上を目指している。 我々は,事前学習およびテストデータに偏りがあるため,スコアが容易に過信されるような,素早いプロンプトスコア法において,いくつかの病理を同定する。 本手法では,提案手法を用いて平均アンサンブルを重み付けし,平均アンサンブルと手作りプロンプトとを比較検討した。
• 参考スコア（独自算出の注目度）: 30.128204719490856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastively trained text-image models have the remarkable ability to perform zero-shot classification, that is, classifying previously unseen images into categories that the model has never been explicitly trained to identify. However, these zero-shot classifiers need prompt engineering to achieve high accuracy. Prompt engineering typically requires hand-crafting a set of prompts for individual downstream tasks. In this work, we aim to automate this prompt engineering and improve zero-shot accuracy through prompt ensembling. In particular, we ask "Given a large pool of prompts, can we automatically score the prompts and ensemble those that are most suitable for a particular downstream dataset, without needing access to labeled validation data?". We demonstrate that this is possible. In doing so, we identify several pathologies in a naive prompt scoring method where the score can be easily overconfident due to biases in pre-training and test data, and we propose a novel prompt scoring method that corrects for the biases. Using our proposed scoring method to create a weighted average prompt ensemble, our method outperforms equal average ensemble, as well as hand-crafted prompts, on ImageNet, 4 of its variants, and 11 fine-grained classification benchmarks, all while being fully automatic, optimization-free, and not requiring access to labeled validation data.
• Abstract（参考訳）: 対照的に、訓練されたテキストイメージモデルは、ゼロショット分類を行うという驚くべき能力を持っている。 しかし、これらのゼロショット分類器は高い精度を達成するために迅速な工学を必要とする。 プロンプトエンジニアリングは通常、下流の個々のタスクに一連のプロンプトを手作りする必要がある。 本研究では,このプロンプトエンジニアリングの自動化と,プロンプトアンサンブルによるゼロショット精度の向上を目指す。 特に、"大きなプロンプトプールがあれば、ラベル付きバリデーションデータへのアクセスを必要とせずに、自動的にプロンプトをスコアし、特定の下流データセットに最も適したプロンプトをアンサンブルできますか? これが可能であることを実証する。 そこで本研究では,プレトレーニングおよびテストデータにおいて,バイアスによりスコアが過信し易いナイーブ・プロンプト・スコアリング法において,いくつかの病理を同定し,バイアスを補正する新しいプロンプト・スコアリング法を提案する。 提案したスコアリング手法を用いて平均アンサンブルを重み付けした平均アンサンブルを生成し,手作りのプロンプト,ImageNet,4つの変種,11のきめ細かい分類ベンチマークにおいて,ラベル付きバリデーションデータへのアクセスを必要とせず,完全自動,最適化不要,かつ,全精度で性能を向上する。

関連論文リスト

• A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
  本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。 本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:05:44Z)
• Understanding prompt engineering may not require rethinking generalization [56.38207873589642]
  言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。 この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
  論文  参考訳（メタデータ） (2023-10-06T00:52:48Z)
• Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts [7.208567411886273]
  近年の研究では、自然言語のプロンプトが、二項文レベルの感情分類タスクにおいて、事前学習された言語モデルによって学習された知識を活用できることが示されている。 本研究の目的は、ゼロショット設定で与えられたタスクに対する高品質なプロンプトを見つけることである。 本研究は,二分文レベルの感情分類タスクにおいて,最上位のプロンプトが高品質で,基本プロンプトと少数ショット学習を用いて生成したプロンプトを著しく上回っていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-05-25T03:36:43Z)
• Pre-trained Language Models Can be Fully Zero-Shot Learners [26.60008734311909]
  完全ゼロショット言語理解のための非パラメトリックプロンプト PLM (NPPrompt) を提案する。 NPPromptは事前訓練された言語モデルのみを使用し、さらなる微調整のためにラベル付きデータや追加の生コーパスを必要としない。 NPPromptは,従来の多種多様なNLPタスクにおける複数ショットとゼロショットの学習手法と比較して評価する。
  論文  参考訳（メタデータ） (2022-12-14T00:03:52Z)
• What Makes Pre-trained Language Models Better Zero-shot Learners? [12.164678440185007]
  ゼロショットシナリオでの迅速な学習の現在の方法は、十分な人間の注釈付きデータを持つ開発セットに依存している。 ゼロショットテキスト分類における妥当なプロンプトテンプレートのスクリーニング方法を提案する。 実験により,本手法は実写ゼロショット設定における予測性能の向上につながることが示された。
  論文  参考訳（メタデータ） (2022-09-30T03:28:19Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• Language Models in the Loop: Incorporating Prompting into Weak Supervision [11.10422546502386]
  本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。 典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
  論文  参考訳（メタデータ） (2022-05-04T20:42:40Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Noisy Channel Language Model Prompting for Few-Shot Text Classification [87.23056864536613]
  数ショットのテキスト分類において,言語モデルに対してノイズの多いチャネルアプローチを導入する。 入力されたラベルの確率を計算する代わりに、チャネルモデルはラベルが与えられた入力の条件確率を計算する。 我々は最近提案された数発の学習手法にチャネルモデルを使用し、言語モデルパラメータの更新は、あるいは、非常に限られている。
  論文  参考訳（メタデータ） (2021-08-09T15:06:26Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。