論文の概要: Revisiting Demonstration Selection Strategies in In-Context Learning
- arxiv url: http://arxiv.org/abs/2401.12087v1
- Date: Mon, 22 Jan 2024 16:25:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 13:25:29.118787
- Title: Revisiting Demonstration Selection Strategies in In-Context Learning
- Title(参考訳): インコンテキスト学習における実演選択戦略の再検討
- Authors: Keqin Peng, Liang Ding, Yancheng Yuan, Xuebo Liu, Min Zhang, Yuanxin
Ouyang, Dacheng Tao
- Abstract要約: 大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。
本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。
本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
- 参考スコア(独自算出の注目度): 69.43198898396211
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown an impressive ability to perform a
wide range of tasks using in-context learning (ICL), where a few examples are
used to describe a task to the model. However, the performance of ICL varies
significantly with the choice of demonstrations, and it is still unclear why
this happens or what factors will influence its choice. In this work, we first
revisit the factors contributing to this variance from both data and model
aspects, and find that the choice of demonstration is both data- and
model-dependent. We further proposed a data- and model-dependent demonstration
selection method, \textbf{TopK + ConE}, based on the assumption that
\textit{the performance of a demonstration positively correlates with its
contribution to the model's understanding of the test samples}, resulting in a
simple and effective recipe for ICL. Empirically, our method yields consistent
improvements in both language understanding and generation tasks with different
model scales. Further analyses confirm that, besides the generality and
stability under different circumstances, our method provides a unified
explanation for the effectiveness of previous methods. Code will be released.
- Abstract(参考訳): 大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を使用して広範囲のタスクを実行するという印象的な能力を示しており、モデルにタスクを記述するためにいくつかの例が使用されている。
しかし、ICLのパフォーマンスはデモの選択によって大きく異なり、なぜこれが起こっているのか、どのような要因がその選択に影響を与えるのかは不明だ。
本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。
さらに,データとモデルに依存したデモンストレーション選択法である \textbf{topk + cone} を提案し,実験結果に対するモデルの理解への貢献と正の相関関係を仮定し,iclの簡易かつ効果的なレシピを作成した。
経験的に,本手法は言語理解とモデルスケールの異なる生成タスクにおいて一貫した改善をもたらす。
さらに, 異なる状況下での汎用性と安定性に加えて, 従来手法の有効性に関する統一的な説明が得られた。
コードはリリースされる。
関連論文リスト
- The Common Stability Mechanism behind most Self-Supervised Learning
Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。
我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。
私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文 参考訳(メタデータ) (2024-02-22T20:36:24Z) - In-context Learning with Retrieved Demonstrations for Language Models: A
Survey [24.935854940534277]
インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。
最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。
本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
論文 参考訳(メタデータ) (2024-01-21T23:34:42Z) - Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。
これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。
デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
論文 参考訳(メタデータ) (2023-09-30T14:04:22Z) - In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。
テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
論文 参考訳(メタデータ) (2023-05-24T05:04:00Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳(メタデータ) (2023-02-11T14:02:08Z) - Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。
我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。
我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
論文 参考訳(メタデータ) (2020-06-09T16:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。