論文の概要: Understanding prompt engineering may not require rethinking generalization

• arxiv url: http://arxiv.org/abs/2310.03957v1
• Date: Fri, 6 Oct 2023 00:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-10 03:41:09.572005
• Title: Understanding prompt engineering may not require rethinking generalization
• Title（参考訳）: プロンプトエンジニアリングを理解するには、一般化を再考する必要はないかもしれない
• Authors: Victor Akinwande, Yiding Jiang, Dylan Sam, J. Zico Kolter
• Abstract要約: 言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。 この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
• 参考スコア（独自算出の注目度）: 56.38207873589642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zero-shot learning in prompted vision-language models, the practice of crafting prompts to build classifiers without an explicit training process, has achieved impressive performance in many settings. This success presents a seemingly surprising observation: these methods suffer relatively little from overfitting, i.e., when a prompt is manually engineered to achieve low error on a given training set (thus rendering the method no longer actually zero-shot), the approach still performs well on held-out test data. In this paper, we show that we can explain such performance well via recourse to classical PAC-Bayes bounds. Specifically, we show that the discrete nature of prompts, combined with a PAC-Bayes prior given by a language model, results in generalization bounds that are remarkably tight by the standards of the literature: for instance, the generalization bound of an ImageNet classifier is often within a few percentage points of the true test error. We demonstrate empirically that this holds for existing handcrafted prompts and prompts generated through simple greedy search. Furthermore, the resulting bound is well-suited for model selection: the models with the best bound typically also have the best test performance. This work thus provides a possible justification for the widespread practice of prompt engineering, even if it seems that such methods could potentially overfit the training data.
• Abstract（参考訳）: 視覚言語モデルのゼロショット学習は、明示的なトレーニングプロセスなしで分類器を構築するためのプロンプトを作成する実践であり、多くの設定で印象的なパフォーマンスを達成している。 これらの手法は比較的過度な適合に苦しむ、すなわち、与えられたトレーニングセットで低いエラーを達成するためにプロンプトを手動で設計した場合(つまり、メソッドをゼロショットにしないため)、そのアプローチは依然として保持されたテストデータ上でうまく機能する。 本稿では,古典的なPAC-Bayes境界に関連付けることで,このような性能をうまく説明できることを示す。 具体的には、プロンプトの離散的性質と、言語モデルによって与えられるpac-bayesを組み合わせることで、文献の基準によって著しく密接な一般化境界が得られることを示す:例えば、imagenet分類器の一般化境界は、真のテストエラーの数パーセント以内であることが多い。 既存の手作りプロンプトと単純な欲求探索によって生成されたプロンプトを実証的に証明する。 さらに、結果のバウンドはモデル選択に適しており、最良のバウンドを持つモデルは、通常、最高のテストパフォーマンスを持つ。 この研究は、たとえそのような方法がトレーニングデータに過剰に適合する可能性があるとしても、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。

関連論文リスト

• Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model [18.111868378615206]
  本稿では,複雑な訓練パイプラインを必要とせず,教師付きモデルに近い性能を達成できる一対数ショットローダを提案する。 また,複雑なトレーニングパイプラインを必要とせず,教師付きモデルに近い性能を実現する。
  論文  参考訳（メタデータ） (2024-09-26T11:19:09Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Impossibility Theorems for Feature Attribution [21.88229793890961]
  そこで本研究では,適度にリッチなモデルクラスでは,任意の特徴属性法がモデル振る舞いを推測するランダムな推測において,確実に改善できないことを示す。 本研究は, 局所モデル行動の特徴付け, 突発的特徴の同定, アルゴリズム的リコースなど, 一般的なエンドタスクに適用する。
  論文  参考訳（メタデータ） (2022-12-22T17:03:57Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Label-Descriptive Patterns and their Application to Characterizing Classification Errors [31.272875287136426]
  最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。 これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。 本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T19:42:21Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。