論文の概要: Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

• arxiv url: http://arxiv.org/abs/2608.12218v2
• Date: Thu, 13 Aug 2026 14:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 14:00:09.880134
• Title: Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge
• Title（参考訳）: Information Abundance Paradox: 長期学習はパラメトリック知識を損なう
• Abstract要約: 本研究では、コンテキストウィンドウがモデルの学習モードをどう形成し、パラメトリックな内部化と文脈化にシフトするかを検討する。 本稿では,情報パラドックス(Information Paradox)を提案する。このパラドックスは,学習コンテキストにおける豊富な関連情報が,その情報をパラメトリックに符号化するインセンティブを低下させる可能性があることを仮定する。
• 参考スコア（独自算出の注目度）: 72.54679781634037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly trained and deployed with long contexts that span documents, code repositories, and interaction histories. This scaling reflects the implicit assumption that training on longer contexts will only help the model by exposing it to richer evidence. We challenge this view by studying how the context window shapes a model's mode of learning, shifting it between parametric internalization and contextualization. We propose the Information Abundance Paradox, which hypothesizes that abundant relevant information in the training context can reduce the incentive to encode that information parametrically, thereby increasing reliance on context. In pretraining with long documents, increasing the context window improves language modeling, natural language understanding, and closed-book MCQA only up to an intermediate optimum, after which performance consistently declines. In supervised fine-tuning, more task-relevant train-time context improves performance with supporting context, but reduces robustness when context is absent or misleading at test time. Our analysis suggests that this behavior arises when longer context provides a lower complexity solution. Mechanistically, training with informative context shifts gradient pressure from feed-forward networks, often linked to parametric knowledge, toward attention modules, and causal interventions show that this shift increases reliance on context during inference. Overall, these findings support the Information Abundance Paradox and suggest that scaling toward near-infinite context is not simply a matter of supplying more data, even when high-quality long-context data is abundant.
• Abstract（参考訳）: 大規模言語モデルは、ドキュメント、コードリポジトリ、インタラクション履歴にまたがる長いコンテキストで、ますます訓練され、デプロイされるようになっています。 このスケーリングは、より長いコンテキストでのトレーニングがよりリッチなエビデンスに公開することによってモデルに役立つという暗黙の仮定を反映している。 我々は、コンテキストウィンドウがモデルの学習モードをどのように形成し、パラメトリックな内部化と文脈化に移行するかを研究することで、この見方に挑戦する。 本稿では,学習コンテキストにおける豊富な関連情報が,その情報をパラメトリックに符号化するインセンティブを減らし,文脈への依存度を増大させる,と仮定した情報冗長パラドックスを提案する。 長い文書の事前訓練において、コンテキストウィンドウの増大は言語モデリング、自然言語理解、クローズドブックMCQAを中間最適まで改善し、その後パフォーマンスは一貫して低下する。 教師付き微調整では、よりタスク関連のトレインタイムコンテキストは、コンテキストをサポートすることでパフォーマンスを改善するが、コンテキストが欠如したり、テスト時に誤解を招く場合のロバスト性は低下する。 我々の分析は、より長いコンテキストがより低い複雑さのソリューションを提供するときに、この振る舞いが生じることを示唆している。 機械的に、情報的文脈を用いたトレーニングは、しばしばパラメトリックな知識、注意モジュール、因果的介入に結びつくフィードフォワードネットワークからの勾配圧力をシフトさせる。 全体として、これらの知見はインフォメーション・アウンダンス・パラドックスを支持しており、高品質の長文データが豊富にある場合でも、ほぼ無限のコンテキストへのスケーリングは単なるデータ供給の問題ではないことを示唆している。

関連論文リスト

• Slow to See, Slow to Suppress: Understanding the Effects of Modality in Context-Memory Conflicts [16.43008975197273]
  視覚言語モデルがコンテキスト記憶の競合をどのように扱うかを検討する。 モデルは、テキストに現れるエンティティに関するコンテキスト内情報を好むが、画像に現れるエンティティに関するパラメトリック情報を好む。
  論文  参考訳（メタデータ） (2026-08-31T19:37:07Z)
• RePo: Language Models with Context Re-Positioning [10.269249887819988]
  In-context Learning is fundamental to modern Large Language Models (LLMs) 一般的なアーキテクチャは、線形または定位置の指標を割り当てることで、厳密で固定された文脈構造を課します。 本稿では,コンテキスト再配置による余剰負荷を低減する機構であるRePoを提案する。
  論文  参考訳（メタデータ） (2025-12-16T13:30:30Z)
• "Lost-in-the-Later": Framework for Quantifying Contextual Grounding in Large Language Models [4.712325494028972]
  モデルと言語間の文脈的知識を測定する新しい評価フレームワークであるCoPEを紹介する。 大規模言語モデルがどのようにコンテキストを統合し、情報を優先順位付けし、PKをオープンな質問応答に組み込むかを分析する。 推論モデルと、チェーン・オブ・シント(CoT)によって引き起こされた非推論モデルが、CoTのない非推論モデルよりもコンテキストを使用し、失われた後の効果を軽減できないことがわかった。
  論文  参考訳（メタデータ） (2025-07-07T19:13:20Z)
• Context-Informed Grounding Supervision [102.11698329887226]
  コンテキストインフォームド・グラウンド(Context-Informed Grounding Supervision, CINGS)は、モデルが応答に先立って関連するコンテキストでトレーニングされる訓練後の監督である。 実験により, CINGSで訓練したモデルでは, テキスト領域と視覚領域の両方において, より強い基底が示されることがわかった。
  論文  参考訳（メタデータ） (2025-06-18T14:13:56Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。