論文の概要: Is In-Context Learning Learning?

• arxiv url: http://arxiv.org/abs/2509.10414v2
• Date: Mon, 15 Sep 2025 15:29:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 13:19:48.004044
• Title: Is In-Context Learning Learning?
• Title（参考訳）: インコンテキストラーニングは学習か?
• Authors: Adrian de Wynter,
• Abstract要約: In-context Learning (ICL) は、いくつかの自己回帰モデルにおいて、さらなるトレーニングを必要とせず、次のトーケン予測によるタスクの解決を可能にする。 数学的には、ICLは学習を構成するが、その完全な特徴付けは経験的な作業を必要とする。 ICLは効果的な学習パラダイムであるが、学習能力に制限があり、目に見えないタスクに一般化できる。
• 参考スコア（独自算出の注目度）: 12.037650994342664
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In-context learning (ICL) allows some autoregressive models to solve tasks via next-token prediction and without needing further training. This has led to claims about these model's ability to solve (learn) unseen tasks with only a few shots (exemplars) in the prompt. However, deduction does not always imply learning, as ICL does not explicitly encode a given observation. Instead, the models rely on their prior knowledge and the exemplars given, if any. We argue that, mathematically, ICL does constitute learning, but its full characterisation requires empirical work. We then carry out a large-scale analysis of ICL ablating out or accounting for memorisation, pretraining, distributional shifts, and prompting style and phrasing. We find that ICL is an effective learning paradigm, but limited in its ability to learn and generalise to unseen tasks. We note that, in the limit where exemplars become more numerous, accuracy is insensitive to exemplar distribution, model, prompt style, and the input's linguistic features. Instead, it deduces patterns from regularities in the prompt, which leads to distributional sensitivity, especially in prompting styles such as chain-of-thought. Given the varied accuracies on formally similar tasks, we conclude that autoregression's ad-hoc encoding is not a robust mechanism, and suggests limited all-purpose generalisability.
• Abstract（参考訳）: In-context Learning (ICL) は、いくつかの自己回帰モデルにおいて、さらなるトレーニングを必要とせず、次のトーケン予測によるタスクの解決を可能にする。 このことは、これらのモデルがいくつかのショット(例)をプロンプトに含めて、目に見えないタスクを解く(学習する)能力に繋がった。 しかし、推論は必ずしも学習を暗示するわけではなく、ICLは与えられた観測を明示的に符号化していない。 その代わり、モデルはその事前の知識と、もしあるならば与えられた模範に頼っている。 数学的には、ICLは学習を構成するが、その完全な特徴付けは経験的な作業を必要とする。 次に,暗記,事前学習,分布変化,スタイルとフレーズの促進など,ICLの大規模分析を行った。 ICLは効果的な学習パラダイムであるが、学習能力に制限があり、目に見えないタスクに一般化できる。 例題が多様になる限界において、精度は模範分布、モデル、プロンプトスタイル、入力の言語的特徴に敏感である点に留意する。 代わりに、プロンプトの規則性からパターンを導出し、特にチェーン・オブ・シントのようなスタイルのプロンプトにおいて、分布感度をもたらす。 形式的に類似したタスクに対する様々な格付けを考えると、自己回帰のアドホック符号化は堅牢なメカニズムではないと結論付け、汎用性は限定的であることを示唆する。

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Sparse Autoencoders Reveal Temporal Difference Learning in Large Language Models [7.115323364355489]
  インコンテキスト学習(In-context learning)は、入力プロンプトのいくつかの例に基づいて適応する能力であり、大きな言語モデル(LLM)のユビキタスな特徴である。 最初に、Llamaが$70$Bで、コンテキスト内で単純なRL問題を解くことができることを示す。 次に、スパースオートエンコーダ(SAE)を用いてLlamaの残差ストリームを分析し、時間差(TD)誤差によく一致する表現を求める。
  論文  参考訳（メタデータ） (2024-10-02T06:51:12Z)
• Many-Shot In-Context Learning [58.395589302800566]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) において優れている 我々は、多種多様な生成的および識別的タスクにおける顕著なパフォーマンス向上を観察する。 少数ショット学習とは異なり、多ショット学習は事前学習されたバイアスをオーバーライドするのに効果的である。
  論文  参考訳（メタデータ） (2024-04-17T02:49:26Z)
• In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
  In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。 モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか? GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。 この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
  論文  参考訳（メタデータ） (2023-11-13T23:52:43Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。