論文の概要: NICE: To Optimize In-Context Examples or Not?
- arxiv url: http://arxiv.org/abs/2402.06733v2
- Date: Fri, 16 Feb 2024 12:08:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 18:54:39.935819
- Title: NICE: To Optimize In-Context Examples or Not?
- Title(参考訳): NICE: コンテキスト内の例を最適化する?
- Authors: Pragya Srivastava, Satvik Golechha, Amit Deshpande, Amit Sharma
- Abstract要約: 本稿では,タスク固有の指示が提供される際に,文脈内例(ICE)を最適化する必要性について検討する。
命令がより詳細になるにつれて、ICE最適化のリターンは減少することがわかった。
本研究では,与えられた命令からタスクの学習可能性を定量化する,正規化不変例選択基準(NICE)を提案する。
- 参考スコア(独自算出の注目度): 10.458898402283628
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent work shows that in-context learning and optimization of in-context
examples (ICE) can significantly improve the accuracy of large language models
(LLMs) on a wide range of tasks, leading to an apparent consensus that ICE
optimization is crucial for better performance. However, most of these studies
assume a fixed or no instruction provided in the prompt. We challenge this
consensus by investigating the necessity of optimizing ICE when task-specific
instructions are provided and find that there are tasks for which it yields
diminishing returns. In particular, using a diverse set of tasks and a
systematically created instruction set with gradually added details, we find
that as the prompt instruction becomes more detailed, the returns on ICE
optimization diminish. To characterize this behavior, we introduce a
task-specific metric called Normalized Invariability to Choice of Examples
(NICE) that quantifies the learnability of tasks from a given instruction, and
provides a heuristic that helps decide whether to optimize instructions or ICE
for a new task. Given a task, the proposed metric can reliably predict the
utility of optimizing ICE compared to using random ICE.
- Abstract(参考訳): 最近の研究は、文脈内学習と文脈内サンプル(ICE)の最適化が、幅広いタスクにおける大きな言語モデル(LLM)の精度を大幅に向上することを示し、ICE最適化がパフォーマンス向上に不可欠であるという明確なコンセンサスを生み出している。
しかし、これらの研究のほとんどは、プロンプトで提供される固定的または全く指示を受けていない。
我々は、タスク固有の指示が提供される際にICEを最適化する必要性を調査し、それが減少するリターンをもたらすタスクがあることを発見することで、この合意に挑戦する。
特に、多様なタスクセットと、徐々に詳細を付加した体系化された命令セットを使用することで、プロンプト命令がより詳細になるにつれて、ICE最適化におけるリターンが減少することがわかった。
この振る舞いを特徴付けるために、与えられた命令からタスクの学習可能性を定量化し、新しいタスクに対して命令やICEを最適化するかを決定するためのヒューリスティックを提供する、正規化不変例選択基準(NICE)を導入する。
タスクが与えられた場合、提案手法はランダムなICEに比べてICEの最適化の有用性を確実に予測することができる。
関連論文リスト
- Instruction Matters, a Simple yet Effective Task Selection Approach in Instruction Tuning for Specific Tasks [51.15473776489712]
そこで本研究では,インストラクション情報を利用したテクティタロンにより,インストラクションチューニングにおける関連するタスクの識別が可能となることを示す。
メタデータセットのユニークな命令テンプレートスタイルを学習することにより,タスク選択精度の向上を観察する。
実験結果から,命令のみに基づいて選択されたタスクセットのトレーニングによって,大幅なパフォーマンス向上が得られた。
論文 参考訳(メタデータ) (2024-04-25T08:49:47Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳(メタデータ) (2023-11-01T04:40:05Z) - Zero-shot Task Preference Addressing Enabled by Imprecise Bayesian
Continual Learning [19.11678487931003]
本稿では,タスクパフォーマンストレードオフの優先事項に対処するため,IBCL(Imrecise Bayesian Continual Learning)を提案する。
IBCLは、知識ベースから好み順応モデルを構築するために、追加のトレーニングオーバーヘッドを必要としない。
IBCLで得られたモデルには、好むパラメータを識別する保証があることが示されている。
論文 参考訳(メタデータ) (2023-05-24T06:39:00Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳(メタデータ) (2023-05-23T11:30:43Z) - Active Prompting with Chain-of-Thought for Large Language Models [16.9127713032405]
本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。
不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。
実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
論文 参考訳(メタデータ) (2023-02-23T18:58:59Z) - In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。
標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文 参考訳(メタデータ) (2022-01-11T18:44:17Z) - Tasks, stability, architecture, and compute: Training more effective
learned optimizers, and using them to train themselves [53.37905268850274]
我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。
ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。
何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
論文 参考訳(メタデータ) (2020-09-23T16:35:09Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳(メタデータ) (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。