論文の概要: NICE: To Optimize In-Context Examples or Not?
- arxiv url: http://arxiv.org/abs/2402.06733v1
- Date: Fri, 9 Feb 2024 19:09:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 19:30:49.444461
- Title: NICE: To Optimize In-Context Examples or Not?
- Title(参考訳): NICE: コンテキスト内の例を最適化する?
- Authors: Pragya Srivastava, Satvik Golechha, Amit Deshpande, Amit Sharma
- Abstract要約: 大規模言語モデル(LLM)は、インコンテキスト学習とインコンテキスト例(ICE)の最適化を通じて、幅広いタスクで驚くほどうまく機能する。
与えられた命令からタスクの学習可能性を定量化するメトリックと呼ばれるタスク固有のメトリックを導入し、新しいタスクに対して命令に最適化するか、ICEに最適化するかを決定するのに役立つメトリックを提供する。
我々は,タスクを計量値に基づいて2つの広いクラスに分割することができると結論づける。そこでは,ICE最適化におけるリターンは,プロンプトに指示が与えられたときの予測可能な傾向に従う。
- 参考スコア(独自算出の注目度): 10.458898402283628
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent works have shown that large language models (LLMs) work remarkably
well on a wide range of tasks through in-context learning and optimization of
in-context examples (ICE). However, most of these studies assume either a fixed
or no instruction provided in the prompt, leading to the apparent consensus
that the optimization of in-context examples is critical for better
performance. We challenge this consensus for instruction-tuned LLMs by
investigating the necessity of optimizing in-context examples when
task-specific instructions are provided, and find that there are tasks for
which various ways of optimizing in-context examples yield diminishing returns.
We introduce a task-specific metric called \metriclong{} (\metric) that
quantifies the learnability of tasks from a given instruction, and provides a
heuristic that helps decide whether to optimize for instructions or ICE for any
new task. On a wide range of tasks and a systematically created instruction set
with gradually added details, we validate our hypothesis empirically by
computing \metric with query-dependent bins of examples, comparing different
instructions with ICE selection methods, and performing label perturbation
experiments. We conclude that tasks can be divided into two broad classes based
on the \metric metric, where the returns on ICE optimization follow predictable
trends when instructions are provided in the prompt.
- Abstract(参考訳): 近年の研究では、大規模言語モデル(LLM)が、インコンテキスト学習とインコンテキスト例(ICE)の最適化を通じて、広範囲のタスクにおいて極めてうまく機能していることが示されている。
しかし、これらの研究のほとんどはプロンプトで提供される固定命令か無命令を仮定しており、文脈内例の最適化がより良い性能のために重要であるという明らかなコンセンサスに繋がる。
タスク固有の命令が提供される際に、インコンテキストの例を最適化する必要性を調査し、インコンテキストの例を最適化する様々な方法がリターンを減らし、このコンセンサスに挑戦する。
我々は、与えられた命令からタスクの学習能力を定量化するタスク固有のメトリックである \metriclong{} (\metric)を導入し、新しいタスクのために命令や氷を最適化するかを決めるのに役立つヒューリスティックを提供する。
幅広いタスクと徐々に詳細が加えられた体系的な命令セットについて,各項目のクエリ依存ビンで \metric を計算し,異なる命令をice選択法と比較し,ラベル摂動実験を行い,経験的検証を行った。
課題は,指示がプロンプトで提供される場合,ICE最適化の帰属が予測可能な傾向に従うため,測定基準に基づいて2つの広いクラスに分けることができる。
関連論文リスト
- Instruction Matters, a Simple yet Effective Task Selection Approach in Instruction Tuning for Specific Tasks [51.15473776489712]
そこで本研究では,インストラクション情報を利用したテクティタロンにより,インストラクションチューニングにおける関連するタスクの識別が可能となることを示す。
メタデータセットのユニークな命令テンプレートスタイルを学習することにより,タスク選択精度の向上を観察する。
実験結果から,命令のみに基づいて選択されたタスクセットのトレーニングによって,大幅なパフォーマンス向上が得られた。
論文 参考訳(メタデータ) (2024-04-25T08:49:47Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳(メタデータ) (2023-11-01T04:40:05Z) - Zero-shot Task Preference Addressing Enabled by Imprecise Bayesian
Continual Learning [19.11678487931003]
本稿では,タスクパフォーマンストレードオフの優先事項に対処するため,IBCL(Imrecise Bayesian Continual Learning)を提案する。
IBCLは、知識ベースから好み順応モデルを構築するために、追加のトレーニングオーバーヘッドを必要としない。
IBCLで得られたモデルには、好むパラメータを識別する保証があることが示されている。
論文 参考訳(メタデータ) (2023-05-24T06:39:00Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳(メタデータ) (2023-05-23T11:30:43Z) - Active Prompting with Chain-of-Thought for Large Language Models [16.9127713032405]
本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。
不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。
実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
論文 参考訳(メタデータ) (2023-02-23T18:58:59Z) - In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。
標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文 参考訳(メタデータ) (2022-01-11T18:44:17Z) - Tasks, stability, architecture, and compute: Training more effective
learned optimizers, and using them to train themselves [53.37905268850274]
我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。
ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。
何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
論文 参考訳(メタデータ) (2020-09-23T16:35:09Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳(メタデータ) (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。