論文の概要: Revisiting Demonstration Selection Strategies in In-Context Learning

• arxiv url: http://arxiv.org/abs/2401.12087v2
• Date: Sun, 23 Jun 2024 13:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 02:22:43.370951
• Title: Revisiting Demonstration Selection Strategies in In-Context Learning
• Title（参考訳）: インテクスト学習における実証的選択方略の再検討
• Authors: Keqin Peng, Liang Ding, Yancheng Yuan, Xuebo Liu, Min Zhang, Yuanxin Ouyang, Dacheng Tao,
• Abstract要約: 大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
• 参考スコア（独自算出の注目度）: 66.11652803887284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown an impressive ability to perform a wide range of tasks using in-context learning (ICL), where a few examples are used to describe a task to the model. However, the performance of ICL varies significantly with the choice of demonstrations, and it is still unclear why this happens or what factors will influence its choice. In this work, we first revisit the factors contributing to this variance from both data and model aspects, and find that the choice of demonstration is both data- and model-dependent. We further proposed a data- and model-dependent demonstration selection method, \textbf{TopK + ConE}, based on the assumption that \textit{the performance of a demonstration positively correlates with its contribution to the model's understanding of the test samples}, resulting in a simple and effective recipe for ICL. Empirically, our method yields consistent improvements in both language understanding and generation tasks with different model scales. Further analyses confirm that, besides the generality and stability under different circumstances, our method provides a unified explanation for the effectiveness of previous methods. Code will be released.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を使用して広範囲のタスクを実行するという印象的な能力を示しており、モデルにタスクを記述するためにいくつかの例が使用されている。 しかし、ICLのパフォーマンスはデモの選択によって大きく異なり、なぜこれが起こっているのか、どのような要因がその選択に影響を与えるのかはいまだ不明である。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 さらに,データとモデルに依存した実演選択法である \textbf{TopK + ConE} を提案した。 経験的に,本手法は,異なるモデルスケールの言語理解タスクと生成タスクの両方において一貫した改善をもたらす。 さらに,異なる状況下での一般性や安定性に加えて,従来の手法の有効性を統一的に説明できることを示す。 コードはリリースされる。

関連論文リスト

• Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models [0.0]
  本稿では,トークンベースおよび文ベースの拡張手法を用いて,対実文ペアを生成する手法を提案する。 提案手法は,NLIモデルの性能とロバスト性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-28T03:43:25Z)
• DemoShapley: Valuation of Demonstrations for In-Context Learning [20.26604061802236]
  インコンテキスト学習(ICL)を利用した大規模言語モデル(LLM)は、タスク固有の微調整を必要とせずに、様々なタスク間で数ショットの学習を行う新しいベンチマークを設定した。 我々は、Data Shapleyの評価定理にインスパイアされたDemoShapleyを紹介する。 この結果から,DemoShapleyは精度と公平性の観点からモデル性能を向上するだけでなく,コンテキスト内デモとは異なる領域からのクエリを一般化することがわかった。
  論文  参考訳（メタデータ） (2024-10-10T01:35:03Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• In-context Learning with Retrieved Demonstrations for Language Models: A Survey [23.24271704145876]
  インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。 最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。 本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
  論文  参考訳（メタデータ） (2024-01-21T23:34:42Z)
• Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
  In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。 これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。 デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T14:04:22Z)
• In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
  大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。 テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
  論文  参考訳（メタデータ） (2023-05-24T05:04:00Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。