論文の概要: NICE: To Optimize In-Context Examples or Not?

• arxiv url: http://arxiv.org/abs/2402.06733v2
• Date: Fri, 16 Feb 2024 12:08:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 18:54:39.935819
• Title: NICE: To Optimize In-Context Examples or Not?
• Title（参考訳）: NICE: コンテキスト内の例を最適化する?
• Authors: Pragya Srivastava, Satvik Golechha, Amit Deshpande, Amit Sharma
• Abstract要約: 本稿では,タスク固有の指示が提供される際に,文脈内例(ICE)を最適化する必要性について検討する。 命令がより詳細になるにつれて、ICE最適化のリターンは減少することがわかった。 本研究では,与えられた命令からタスクの学習可能性を定量化する,正規化不変例選択基準(NICE)を提案する。
• 参考スコア（独自算出の注目度）: 10.458898402283628
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent work shows that in-context learning and optimization of in-context examples (ICE) can significantly improve the accuracy of large language models (LLMs) on a wide range of tasks, leading to an apparent consensus that ICE optimization is crucial for better performance. However, most of these studies assume a fixed or no instruction provided in the prompt. We challenge this consensus by investigating the necessity of optimizing ICE when task-specific instructions are provided and find that there are tasks for which it yields diminishing returns. In particular, using a diverse set of tasks and a systematically created instruction set with gradually added details, we find that as the prompt instruction becomes more detailed, the returns on ICE optimization diminish. To characterize this behavior, we introduce a task-specific metric called Normalized Invariability to Choice of Examples (NICE) that quantifies the learnability of tasks from a given instruction, and provides a heuristic that helps decide whether to optimize instructions or ICE for a new task. Given a task, the proposed metric can reliably predict the utility of optimizing ICE compared to using random ICE.
• Abstract（参考訳）: 最近の研究は、文脈内学習と文脈内サンプル(ICE)の最適化が、幅広いタスクにおける大きな言語モデル(LLM)の精度を大幅に向上することを示し、ICE最適化がパフォーマンス向上に不可欠であるという明確なコンセンサスを生み出している。 しかし、これらの研究のほとんどは、プロンプトで提供される固定的または全く指示を受けていない。 我々は、タスク固有の指示が提供される際にICEを最適化する必要性を調査し、それが減少するリターンをもたらすタスクがあることを発見することで、この合意に挑戦する。 特に、多様なタスクセットと、徐々に詳細を付加した体系化された命令セットを使用することで、プロンプト命令がより詳細になるにつれて、ICE最適化におけるリターンが減少することがわかった。 この振る舞いを特徴付けるために、与えられた命令からタスクの学習可能性を定量化し、新しいタスクに対して命令やICEを最適化するかを決定するためのヒューリスティックを提供する、正規化不変例選択基準(NICE)を導入する。 タスクが与えられた場合、提案手法はランダムなICEに比べてICEの最適化の有用性を確実に予測することができる。

関連論文リスト

• ACING: Actor-Critic for Instruction Learning in Black-Box Large Language Models [4.890873355984701]
  ACINGは、タスク固有のプロンプト最適化アプローチであり、ステートレスな継続的アクション強化学習問題である。 我々は30の命令ベースタスク上でChatGPTのプロンプトを最適化することでACINGを検証する。 ACingはベースラインの手法を一貫して上回り、スコアの中央値が10ポイント向上した。
  論文  参考訳（メタデータ） (2024-11-19T18:58:03Z)
• SPRIG: Improving Large Language Model Performance by System Prompt Optimization [45.96513122345295]
  大きな言語モデル(LLM)は多くのシナリオで印象的な機能を示しているが、そのパフォーマンスはプロンプトの選択に依存している。 本研究では,モデルの性能を最大化するために,既定成分からのプロンプトを反復的に構築する編集に基づく遺伝的アルゴリズムであるSPRIGを提案する。 47種類のタスクの集合に対して,システムプロンプトの性能を評価し,一般化性を確保する。
  論文  参考訳（メタデータ） (2024-10-18T18:51:44Z)
• Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition [0.0]
  マルチタスクのプロンプトチューニングは、その固有のモジュラリティと、パラメータ効率のよい転送学習を向上する可能性に対して、かなりの注意を払っている。 本稿では,マルチタスク環境において,対応するプロンプト間の知識伝達を容易にすることで,複数のタスクのパフォーマンスを解析・改善することを目的とする。
  論文  参考訳（メタデータ） (2024-08-23T17:01:51Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Large Language Models Prompting With Episodic Memory [53.8690170372303]
  本稿では,POEM(PrOmpting with Episodic Memory)を提案する。 テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。 その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T11:19:28Z)
• Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks [51.15473776489712]
  本稿では,命令情報のみを利用してタスクを識別する,シンプルで効果的なタスク選択手法を提案する。 提案手法は,タスク間のペア転送可能性の複雑な測定や,対象タスクのためのデータサンプルの作成を必要とする従来の手法に比べて,はるかに効率的である。 実験の結果、命令のみに選択されたタスクセットのトレーニングにより、P3、Big-Bench、NIV2、Big-Bench Hardといったベンチマークのパフォーマンスが大幅に改善された。
  論文  参考訳（メタデータ） (2024-04-25T08:49:47Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。