論文の概要: Why is prompting hard? Understanding prompts on binary sequence predictors

• arxiv url: http://arxiv.org/abs/2502.10760v1
• Date: Sat, 15 Feb 2025 10:55:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:17:18.243366
• Title: Why is prompting hard? Understanding prompts on binary sequence predictors
• Title（参考訳）: なぜプロンプトが難しいのか?バイナリシーケンス予測器のプロンプトを理解する
• Authors: Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein,
• Abstract要約: 大規模言語モデル(LLM)は多くのタスクを実行するように促すことができる。 良いプロンプトを見つけることは必ずしも容易ではないし、パフォーマンスのプロンプトを理解するのも容易ではない。
• 参考スコア（独自算出の注目度）: 19.855572748273236
• License:
• Abstract: Large language models (LLMs) can be prompted to do many tasks, but finding good prompts is not always easy, nor is understanding some performant prompts. We explore these issues by viewing prompting as conditioning a near-optimal sequence predictor (LLM) pretrained on diverse data sources. Through numerous prompt search experiments, we show that the unintuitive patterns in optimal prompts can be better understood given the pretraining distribution, which is often unavailable in practice. Moreover, even using exhaustive search, reliably identifying optimal prompts from practical neural predictors can be difficult. Further, we demonstrate that common prompting methods, such as using intuitive prompts or samples from the targeted task, are in fact suboptimal. Thus, this work takes an initial step towards understanding the difficulties in finding and understanding optimal prompts from a statistical and empirical perspective.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くのタスクを実行するように促されるが、適切なプロンプトを見つけることは必ずしも容易ではなく、パフォーマンスの高いプロンプトを理解することもできない。 我々は、様々なデータソースで事前訓練された近最適シーケンス予測器(LLM)を条件付けして、これらの問題を考察する。 多くの素早い探索実験を通して、学習前分布を考えると、最適プロンプトの直観的パターンをよりよく理解できることが示されるが、実際は利用できないことが多い。 さらに、徹底的な探索を用いても、実用的な神経予測器からの最適なプロンプトを確実に特定することは困難である。 さらに、直感的なプロンプトや対象タスクからのサンプルなど、一般的なプロンプト手法が実際に最適であることを示す。 このように、この研究は、統計的、実証的な観点から最適なプロンプトを発見し、理解することの難しさを理解するための最初の一歩を踏み出した。

関連論文リスト

• Generalizable Prompt Tuning for Vision-Language Models [3.1008306011364644]
  学習可能なソフトプロンプトは下流のタスクではよく機能するが、一般化性に欠ける。 本研究は,ソフトプロンプトと手作りプロンプトをテキストモダリティの2つのビューとして扱うことで,タスク固有および一般的な意味情報をよりうまくまとめることができることを示した。 より表現力のあるプロンプトを生成するために、視覚的モダリティからのクラスワイド増強を導入し、より広い範囲の未確認クラスに対して大きなロバスト性をもたらす。
  論文  参考訳（メタデータ） (2024-10-04T07:02:13Z)
• Task Facet Learning: A Structured Approach to Prompt Optimization [14.223730629357178]
  本稿では,タスクの複数の面をトレーニング例から学習するアルゴリズムを提案する。 結果のアルゴリズムであるUniPromptは、各プロンプトセクションの初期候補を生成する生成モデルで構成されている。 複数のデータセットと実世界のタスクに対する経験的評価は、UniPromptを使って生成されたプロンプトが、人間のチューニングしたプロンプトよりも高い精度が得られることを示している。
  論文  参考訳（メタデータ） (2024-06-15T04:54:26Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
  効率的なプロンプティング手法は幅広い注目を集めている。 本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Plum: Prompt Learning using Metaheuristic [28.024094195968672]
  メタヒューリスティックス(Metaheuristics)は、100以上の選択肢を持つ離散的な非視覚的最適化手法のブランチである。 パラダイム内では6つの典型的な手法をテストし、ホワイトボックスとブラックボックスのプロンプト学習の有効性を実証した。 これらの手法は、より人間に理解可能なプロンプトを発見でき、迅速な最適化の可能性のコルヌコピアへの扉を開くことができる。
  論文  参考訳（メタデータ） (2023-11-14T18:14:56Z)
• InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
  我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。 本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-08T04:31:48Z)
• Exploring Lottery Prompts for Pre-trained Language Models [46.66885465183664]
  インスタンスレベルのプロンプトとその一般化可能性について検討する。 いずれの場合も、ほとんどの場合、PLMから正しい予測を誘導する宝くじプロンプトがある。 一部の強力な宝くじプロンプトは、トレーニングセット全体に対して高いパフォーマンスを持つ。
  論文  参考訳（メタデータ） (2023-05-31T02:17:04Z)
• Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good movie, and a good prompt too? [84.91689960190054]
  大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。 特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
  論文  参考訳（メタデータ） (2022-12-20T18:47:13Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• Least-to-Most Prompting Enables Complex Reasoning in Large Language Models [52.59923418570378]
  本稿では, 難解な一般化の課題を克服するために, 最小限のプロンプト戦略を提案する。 最小限のプロンプトは、プロンプトで見られるものよりも難しい問題に一般化可能であることを示す。 SCANの解決を専門とする文献におけるニューラルシンボリックモデルは、15,000以上のサンプルを含むトレーニングセット全体をトレーニングする。
  論文  参考訳（メタデータ） (2022-05-21T15:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。