論文の概要: NICE: To Optimize In-Context Examples or Not?

• arxiv url: http://arxiv.org/abs/2402.06733v1
• Date: Fri, 9 Feb 2024 19:09:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 19:30:49.444461
• Title: NICE: To Optimize In-Context Examples or Not?
• Title（参考訳）: NICE: コンテキスト内の例を最適化する?
• Authors: Pragya Srivastava, Satvik Golechha, Amit Deshpande, Amit Sharma
• Abstract要約: 大規模言語モデル(LLM)は、インコンテキスト学習とインコンテキスト例(ICE)の最適化を通じて、幅広いタスクで驚くほどうまく機能する。 与えられた命令からタスクの学習可能性を定量化するメトリックと呼ばれるタスク固有のメトリックを導入し、新しいタスクに対して命令に最適化するか、ICEに最適化するかを決定するのに役立つメトリックを提供する。 我々は,タスクを計量値に基づいて2つの広いクラスに分割することができると結論づける。そこでは,ICE最適化におけるリターンは,プロンプトに指示が与えられたときの予測可能な傾向に従う。
• 参考スコア（独自算出の注目度）: 10.458898402283628
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent works have shown that large language models (LLMs) work remarkably well on a wide range of tasks through in-context learning and optimization of in-context examples (ICE). However, most of these studies assume either a fixed or no instruction provided in the prompt, leading to the apparent consensus that the optimization of in-context examples is critical for better performance. We challenge this consensus for instruction-tuned LLMs by investigating the necessity of optimizing in-context examples when task-specific instructions are provided, and find that there are tasks for which various ways of optimizing in-context examples yield diminishing returns. We introduce a task-specific metric called \metriclong{} (\metric) that quantifies the learnability of tasks from a given instruction, and provides a heuristic that helps decide whether to optimize for instructions or ICE for any new task. On a wide range of tasks and a systematically created instruction set with gradually added details, we validate our hypothesis empirically by computing \metric with query-dependent bins of examples, comparing different instructions with ICE selection methods, and performing label perturbation experiments. We conclude that tasks can be divided into two broad classes based on the \metric metric, where the returns on ICE optimization follow predictable trends when instructions are provided in the prompt.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)が、インコンテキスト学習とインコンテキスト例(ICE)の最適化を通じて、広範囲のタスクにおいて極めてうまく機能していることが示されている。 しかし、これらの研究のほとんどはプロンプトで提供される固定命令か無命令を仮定しており、文脈内例の最適化がより良い性能のために重要であるという明らかなコンセンサスに繋がる。 タスク固有の命令が提供される際に、インコンテキストの例を最適化する必要性を調査し、インコンテキストの例を最適化する様々な方法がリターンを減らし、このコンセンサスに挑戦する。 我々は、与えられた命令からタスクの学習能力を定量化するタスク固有のメトリックである \metriclong{} (\metric)を導入し、新しいタスクのために命令や氷を最適化するかを決めるのに役立つヒューリスティックを提供する。 幅広いタスクと徐々に詳細が加えられた体系的な命令セットについて,各項目のクエリ依存ビンで \metric を計算し,異なる命令をice選択法と比較し,ラベル摂動実験を行い,経験的検証を行った。 課題は,指示がプロンプトで提供される場合,ICE最適化の帰属が予測可能な傾向に従うため,測定基準に基づいて2つの広いクラスに分けることができる。

関連論文リスト

• ACING: Actor-Critic for Instruction Learning in Black-Box Large Language Models [4.890873355984701]
  ACINGは、タスク固有のプロンプト最適化アプローチであり、ステートレスな継続的アクション強化学習問題である。 我々は30の命令ベースタスク上でChatGPTのプロンプトを最適化することでACINGを検証する。 ACingはベースラインの手法を一貫して上回り、スコアの中央値が10ポイント向上した。
  論文  参考訳（メタデータ） (2024-11-19T18:58:03Z)
• SPRIG: Improving Large Language Model Performance by System Prompt Optimization [45.96513122345295]
  大きな言語モデル(LLM)は多くのシナリオで印象的な機能を示しているが、そのパフォーマンスはプロンプトの選択に依存している。 本研究では,モデルの性能を最大化するために,既定成分からのプロンプトを反復的に構築する編集に基づく遺伝的アルゴリズムであるSPRIGを提案する。 47種類のタスクの集合に対して,システムプロンプトの性能を評価し,一般化性を確保する。
  論文  参考訳（メタデータ） (2024-10-18T18:51:44Z)
• Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition [0.0]
  マルチタスクのプロンプトチューニングは、その固有のモジュラリティと、パラメータ効率のよい転送学習を向上する可能性に対して、かなりの注意を払っている。 本稿では,マルチタスク環境において,対応するプロンプト間の知識伝達を容易にすることで,複数のタスクのパフォーマンスを解析・改善することを目的とする。
  論文  参考訳（メタデータ） (2024-08-23T17:01:51Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Large Language Models Prompting With Episodic Memory [53.8690170372303]
  本稿では,POEM(PrOmpting with Episodic Memory)を提案する。 テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。 その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T11:19:28Z)
• Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks [51.15473776489712]
  本稿では,命令情報のみを利用してタスクを識別する,シンプルで効果的なタスク選択手法を提案する。 提案手法は,タスク間のペア転送可能性の複雑な測定や,対象タスクのためのデータサンプルの作成を必要とする従来の手法に比べて,はるかに効率的である。 実験の結果、命令のみに選択されたタスクセットのトレーニングにより、P3、Big-Bench、NIV2、Big-Bench Hardといったベンチマークのパフォーマンスが大幅に改善された。
  論文  参考訳（メタデータ） (2024-04-25T08:49:47Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。