論文の概要: Unveiling In-Context Learning: A Coordinate System to Understand Its Working Mechanism

• arxiv url: http://arxiv.org/abs/2407.17011v1
• Date: Wed, 24 Jul 2024 05:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 14:43:30.656945
• Title: Unveiling In-Context Learning: A Coordinate System to Understand Its Working Mechanism
• Title（参考訳）: インテクスト学習の展開 : 作業メカニズムを理解するための協調システム
• Authors: Anhao Zhao, Fanghua Ye, Jinlan Fu, Xiaoyu Shen,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト内学習能力に優れる。 最近の研究は、ICLに関する2つの矛盾する見解を示している。 両ビューを体系的なフレームワークに統合する2次元コーディネートシステムを提供する。
• 参考スコア（独自算出の注目度）: 28.751003584429615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit remarkable in-context learning (ICL) capabilities. However, the underlying working mechanism of ICL remains poorly understood. Recent research presents two conflicting views on ICL: One attributes it to LLMs' inherent ability of task recognition, deeming label correctness and shot numbers of demonstrations as not crucial; the other emphasizes the impact of similar examples in the demonstrations, stressing the need for label correctness and more shots. In this work, we provide a Two-Dimensional Coordinate System that unifies both views into a systematic framework. The framework explains the behavior of ICL through two orthogonal variables: whether LLMs can recognize the task and whether similar examples are presented in the demonstrations. We propose the peak inverse rank metric to detect the task recognition ability of LLMs and study LLMs' reactions to different definitions of similarity. Based on these, we conduct extensive experiments to elucidate how ICL functions across each quadrant on multiple representative classification tasks. Finally, we extend our analyses to generation tasks, showing that our coordinate system can also be used to interpret ICL for generation tasks effectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、優れたインコンテキスト学習(ICL)能力を示す。 しかし、ICLの基盤となる作用機構はいまだよく理解されていない。 最近の研究は、ICLに関する2つの矛盾する見解を提示している: 1つは、LCMが本来持つタスク認識能力、ラベルの正しさとデモのショット番号を重要ではないとみなすこと、もう1つは、同様の例がデモに与える影響を強調し、ラベルの正しさとより多くのショットの必要性を強調している。 本研究では,両ビューを体系的なフレームワークに統合する2次元コーディネートシステムを提案する。 このフレームワークは、2つの直交変数を通してICLの振る舞いを説明している。 本研究では, LLMのタスク認識能力を検出するために, ピーク逆ランク測定法を提案し, 類似性の異なる定義に対するLLMの反応について検討する。 これらに基づいて、複数の代表分類タスクにおいて、各四角形に対してICL関数がどのように機能するかを解明するための広範な実験を行う。 最後に, 解析結果を生成タスクに拡張することにより, 生成タスクのICLを効果的に解釈できることを示す。

関連論文リスト

• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• Unraveling the Mechanics of Learning-Based Demonstration Selection for In-Context Learning [43.356895599336504]
  本研究では,学習に基づく実演選択手法の動作メカニズムを解析する。 類似度測定に関連する2つの重要な因子を実験的に同定した。 本稿では,タスクに依存しない要求とタスク固有の要求に対応する,効果的かつ単純化された2つの例選択手法を提案する。
  論文  参考訳（メタデータ） (2024-06-14T03:34:02Z)
• Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning [41.606494950216764]
  In-context Learning (ICL)は、スケールアップされた大規模言語モデル(LLM)の開発と共に強力な能力として登場した。 本稿では,ICLの全体的な性能をラベル空間,フォーマット,識別の3次元に分解する。 ICLはラベル空間とフォーマットを制御し,所望のラベル語にLLMが反応するのに役立つことを示す。
  論文  参考訳（メタデータ） (2024-04-11T08:20:10Z)
• Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。 我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。 まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。 第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
  論文  参考訳（メタデータ） (2023-07-28T09:03:19Z)
• Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning [77.7070536959126]
  大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する 本稿では,情報フローレンズを用いたICLの動作機構について検討する。 本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:26:20Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• What In-Context Learning "Learns" In-Context: Disentangling Task Recognition and Task Learning [24.395288160951118]
  大規模言語モデル(LLM)は、いくつかのデモでタスクを解くためにコンテキスト内学習(ICL)を利用する。 ICLがデモを利用する2つの方法の特徴付けを行う。 TRのみを用いて非自明な性能を達成でき、TRはより大きなモデルやより多くのデモでさらに改善されないことを示す。
  論文  参考訳（メタデータ） (2023-05-16T18:05:19Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。