論文の概要: Unraveling the Mechanics of Learning-Based Demonstration Selection for In-Context Learning

• arxiv url: http://arxiv.org/abs/2406.11890v1
• Date: Fri, 14 Jun 2024 03:34:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 00:55:56.862041
• Title: Unraveling the Mechanics of Learning-Based Demonstration Selection for In-Context Learning
• Title（参考訳）: インテクスト学習における学習ベースデモ選択のメカニズムの解明
• Authors: Hui Liu, Wenya Wang, Hao Sun, Chris Xing Tian, Chenqi Kong, Xin Dong, Haoliang Li,
• Abstract要約: 本研究では,学習に基づく実演選択手法の動作メカニズムを解析する。 類似度測定に関連する2つの重要な因子を実験的に同定した。 本稿では,タスクに依存しない要求とタスク固有の要求に対応する,効果的かつ単純化された2つの例選択手法を提案する。
• 参考スコア（独自算出の注目度）: 43.356895599336504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive in-context learning (ICL) capabilities from few-shot demonstration exemplars. While recent learning-based demonstration selection methods have proven beneficial to ICL by choosing more useful exemplars, their underlying mechanisms are opaque, hindering efforts to address limitations such as high training costs and poor generalization across tasks. These methods generally assume the selection process captures similarities between the exemplar and the target instance, however, it remains unknown what kinds of similarities are captured and vital to performing ICL. To dive into this question, we analyze the working mechanisms of the learning-based demonstration selection methods and empirically identify two important factors related to similarity measurement: 1) The ability to integrate different levels of task-agnostic text similarities between the input of exemplars and test cases enhances generalization power across different tasks. 2) Incorporating task-specific labels when measuring the similarities significantly improves the performance on each specific task. We validate these two findings through extensive quantitative and qualitative analyses across ten datasets and various LLMs. Based on our findings, we introduce two effective yet simplified exemplar selection methods catering to task-agnostic and task-specific demands, eliminating the costly LLM inference overhead.
• Abstract（参考訳）: LLM(Large Language Models)は、数発のデモ例から、印象的なインコンテキスト学習(ICL)機能を示したものだ。 最近の学習に基づく実証選択法は、より有用な例を選択することで、ICLにとって有益であることが証明されているが、その基盤となるメカニズムは不透明であり、高いトレーニングコストやタスク間の一般化の欠如といった制限に対処する努力を妨げる。 これらの方法は一般的に、選択プロセスが模範と対象のインスタンスの類似性を捉えていると仮定するが、どのような類似性を捕捉し、ICLの実行に不可欠であるかは分かっていない。 本研究では,学習に基づく実演選択手法の動作メカニズムを分析し,類似度測定に関連する2つの重要な要因を実証的に同定する。 1)模範語とテストケースの入力におけるタスク非依存のテキスト類似性の異なるレベルを統合することで,タスク間の一般化能力が向上する。 2) 類似度を測定する際に, タスク固有のラベルを組み込むことにより, タスク毎のパフォーマンスが著しく向上する。 これら2つの知見は,10個のデータセットおよび各種LLMの定量的および定性的な分析を通じて検証した。 そこで本研究では,LLM推論のオーバーヘッドを低減し,タスク非依存とタスク固有の要求に対応する,効果的かつ簡易な2つの例選択手法を提案する。

関連論文リスト

• In-Context Transfer Learning: Demonstration Synthesis by Transferring Similar Tasks [93.46282380831339]
  コンテキスト内学習は、ターゲットタスクのデモを提供することで、大きな言語モデルが様々なタスクに適応するのに役立つ。 提案するICTL(In-Context Transfer Learning)は,類似のソースタスクからラベル付きデモを転送することで,ターゲットタスクのデモンストレーションを合成する。 Super-NIの実験では、ICTLはスクラッチから平均2.0%の効率で合成に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T13:37:54Z)
• Unveiling In-Context Learning: A Coordinate System to Understand Its Working Mechanism [28.751003584429615]
  大規模言語モデル(LLM)は、テキスト内学習能力に優れる。 最近の研究は、ICLに関する2つの矛盾する見解を示している。 両ビューを体系的なフレームワークに統合する2次元コーディネートシステムを提供する。
  論文  参考訳（メタデータ） (2024-07-24T05:26:52Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• LLMs Learn Task Heuristics from Demonstrations: A Heuristic-Driven Prompting Strategy for Document-Level Event Argument Extraction [12.673710691468264]
  本稿では,Huristic-Driven Link-of-Alogy (HD-LoA)を導入し,サンプル選択の課題に対処する。 人間の類推的推論にインスパイアされ,LLMが新たな状況に対処できるリンク・オブ・アナロジー・プロンプトを提案する。 実験により,本手法は文書レベルのAEデータセット上で,既存のプロンプト手法や数発の教師付き学習手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-11T12:05:01Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。