論文の概要: NICE: To Optimize In-Context Examples or Not?

• arxiv url: http://arxiv.org/abs/2402.06733v3
• Date: Thu, 6 Jun 2024 12:16:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 23:40:31.364593
• Title: NICE: To Optimize In-Context Examples or Not?
• Title（参考訳）: NICE: コンテキスト内の例を最適化する?
• Authors: Pragya Srivastava, Satvik Golechha, Amit Deshpande, Amit Sharma,
• Abstract要約: In-context Learning and Optimization of in-context Example (ICE) could significantly improve the accuracy of large language model (LLMs) タスク固有の命令が提供されるとき、ICEを最適化する必要性について検討し、それが減少するリターンをもたらすタスクが多数存在することを確認する。 本研究では,与えられた命令からタスクの学習可能性を定量化する,正規化不変例選択基準(NICE)を提案する。
• 参考スコア（独自算出の注目度）: 9.748741990573794
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent work shows that in-context learning and optimization of in-context examples (ICE) can significantly improve the accuracy of large language models (LLMs) on a wide range of tasks, leading to an apparent consensus that ICE optimization is crucial for better performance. However, most of these studies assume a fixed or no instruction provided in the prompt. We challenge this consensus by investigating the necessity of optimizing ICE when task-specific instructions are provided and find that there are many tasks for which it yields diminishing returns. In particular, using a diverse set of tasks and a systematically created instruction set with gradually added details, we find that as the prompt instruction becomes more detailed, the returns on ICE optimization diminish. To characterize this behavior, we introduce a task-specific metric called Normalized Invariability to Choice of Examples (NICE) that quantifies the learnability of tasks from a given instruction, and provides a heuristic to help decide whether to optimize instructions or ICE for a new task. Given a task, the proposed metric can reliably predict the utility of optimizing ICE compared to using random ICE. Our code is available at https://github.com/microsoft/nice-icl.
• Abstract（参考訳）: 最近の研究は、文脈内学習と文脈内サンプル(ICE)の最適化が、幅広いタスクにおける大きな言語モデル(LLM)の精度を大幅に向上することを示し、ICE最適化がパフォーマンス向上に不可欠である、という明確なコンセンサスを生み出している。 しかしながら、これらの研究の多くは、プロンプトに与えられた固定的あるいは全くの指示を仮定している。 タスク固有の指示が提供されるとき、ICEを最適化する必要性を調査し、それが減少するリターンをもたらすタスクが多数存在することを明らかにすることで、このコンセンサスに挑戦する。 特に、多様なタスクセットと、徐々に詳細を付加した体系化された命令セットを使用することで、プロンプト命令がより詳細になるにつれて、ICE最適化におけるリターンが減少することがわかった。 この振る舞いを特徴付けるために、与えられた命令からタスクの学習可能性を定量化し、新しいタスクに対して命令やICEを最適化するかを決定するためのヒューリスティックを提供する、正規化不変例選択基準(NICE)を導入する。 タスクが与えられた場合、提案手法はランダムなICEに比べてICEを最適化するの有用性を確実に予測することができる。 私たちのコードはhttps://github.com/microsoft/nice-icl.comで公開されています。

関連論文リスト

• Teach Better or Show Smarter? On Instructions and Exemplars in Automatic Prompt Optimization [15.967049403803749]
  本稿では,多様な課題に対して,代表的IO技術とES技術の性能を総合的に比較する。 最近のIOに焦点が当てられているにも関わらず、どのように例えを選ぶかは、命令の最適化方法よりも優れていることが分かりました。 ESとIOの相乗効果を観察し,各コントリビューションを超越した最適な組み合わせを示す。
  論文  参考訳（メタデータ） (2024-06-22T02:07:10Z)
• PromptWizard: Task-Aware Agent-driven Prompt Optimization Framework [2.976441974750401]
  大規模言語モデル(LLM)は、さまざまな領域にわたるAIに革命をもたらし、目覚ましい能力を示している。 彼らの成功の中心は、モデル出力生成を導くプロンプトの概念である。 本稿では,特定のタスクに適したプロンプトを反復的に合成・洗練するためにLLMを利用する新しいフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Instruction Matters, a Simple yet Effective Task Selection Approach in Instruction Tuning for Specific Tasks [51.15473776489712]
  そこで本研究では,インストラクション情報を利用したテクティタロンにより,インストラクションチューニングにおける関連するタスクの識別が可能となることを示す。 メタデータセットのユニークな命令テンプレートスタイルを学習することにより,タスク選択精度の向上を観察する。 実験結果から,命令のみに基づいて選択されたタスクセットのトレーニングによって,大幅なパフォーマンス向上が得られた。
  論文  参考訳（メタデータ） (2024-04-25T08:49:47Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Active Prompting with Chain-of-Thought for Large Language Models [26.5029080638055]
  本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。 不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。 実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
  論文  参考訳（メタデータ） (2023-02-23T18:58:59Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。