論文の概要: When Does Context Help? Error Dynamics of Contextual Information in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.08294v1
• Date: Mon, 09 Feb 2026 05:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.079881
• Title: When Does Context Help? Error Dynamics of Contextual Information in Large Language Models
• Title（参考訳）: 文脈はいつ役に立つか? 大規模言語モデルにおける文脈情報の誤りダイナミクス
• Authors: Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che, Yang Deng,
• Abstract要約: 大規模言語モデルにおける任意の文脈情報の影響を分析するための統合理論フレームワークを提案する。 本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。 ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、原則化された文脈選択戦略を動機づける。
• 参考スコア（独自算出の注目度）: 64.88201012057822
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contextual information at inference time, such as demonstrations, retrieved knowledge, or interaction history, can substantially improve large language models (LLMs) without parameter updates, yet its theoretical role remains poorly understood beyond specific settings such as in-context learning (ICL). We present a unified theoretical framework for analyzing the effect of arbitrary contextual information in Transformer-based LLMs. Our analysis characterizes contextual influence through output error dynamics. In a single-layer Transformer, we prove that the context-conditioned error vector decomposes additively into the baseline error vector and a contextual correction vector. This yields necessary geometric conditions for error reduction: the contextual correction must align with the negative baseline error and satisfy a norm constraint. We further show that the contextual correction norm admits an explicit upper bound determined by context-query relevance and complementarity. These results extend to multi-context and multi-layer Transformers. Experiments across ICL, retrieval-augmented generation, and memory evolution validate our theory and motivate a principled context selection strategy that improves performance by $0.6\%$.
• Abstract（参考訳）: 実演、検索された知識、相互作用履歴などの推論時の文脈情報は、パラメータの更新なしに大きな言語モデル(LLM)を大幅に改善することができるが、その理論的役割は、文脈内学習(ICL)のような特定の設定を超えては理解されていない。 本稿では,Transformer-based LLMにおける任意の文脈情報の影響を解析するための統一理論フレームワークを提案する。 本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。 単一層変換器において、文脈条件付き誤りベクトルがベースライン誤差ベクトルと文脈補正ベクトルに加法的に分解されることを証明する。 文脈補正は負のベースライン誤差と一致し、ノルム制約を満たす必要がある。 さらに、文脈補正規範は、文脈クエリの関連性および相補性によって決定される明示的な上界を許容することを示す。 これらの結果は、マルチコンテキストと多層トランスフォーマーに拡張される。 ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、性能を0.6$%向上する原則付きコンテキスト選択戦略を動機づける。

関連論文リスト

• Transformer learns the cross-task prior and regularization for in-context learning [11.570071580371964]
  文脈例から基底重みベクトルへの逆写像を学習するために線形変換器を導入する。 我々は, 変圧器推定器の誤差が雑音レベル, タスク次元とコンテキスト長との比, 入力データの条件数と線形にスケールすることを数値的に検証する。
  論文  参考訳（メタデータ） (2025-05-17T20:42:23Z)
• On the Robustness of Transformers against Context Hijacking for Linear Classification [26.1838836907147]
  Transformer-based Large Language Models (LLM) は、強力なコンテキスト内学習能力を実証している。 それらは、コンテキストハイジャックとして知られる、事実的に正しいコンテキストによって破壊される。 十分に訓練された深部変圧器は、経験的観測と整合した高い強靭性を実現することができることを示す。
  論文  参考訳（メタデータ） (2025-02-21T17:31:00Z)
• Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Transformers are Minimax Optimal Nonparametric In-Context Learners [36.291980654891496]
  大規模言語モデルのコンテキスト内学習は、いくつかの実証的な例から新しいタスクを学ぶのに驚くほど効果的な方法であることが証明されている。 我々は,ディープニューラルネットワークと1つの線形アテンション層からなる変圧器の近似および一般化誤差境界を開発する。 十分に訓練されたトランスフォーマーは、文脈における最小推定リスクを達成し、改善できることを示す。
  論文  参考訳（メタデータ） (2024-08-22T08:02:10Z)
• Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
  我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。 我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。 また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
  論文  参考訳（メタデータ） (2024-02-22T18:55:17Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Decomposed Mutual Information Optimization for Generalized Context in Meta-Reinforcement Learning [35.87062321504049]
  複数の共同創設者がトランジションのダイナミクスに影響を与える可能性があるため、意思決定の正確なコンテキストを推測することは難しい。 本稿では、文脈学習におけるDOMINO(Decomposed Mutual Information Optimization)の課題に対処する。 理論的分析により,DOMINOは,多元的課題による相互情報の過小評価を克服できることが示された。
  論文  参考訳（メタデータ） (2022-10-09T09:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。