論文の概要: When Context Sticks: Studying Interference in In-Context Learning

• arxiv url: http://arxiv.org/abs/2604.23371v1
• Date: Sat, 25 Apr 2026 16:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.300485
• Title: When Context Sticks: Studying Interference in In-Context Learning
• Title（参考訳）: コンテキストが固まるとき - インコンテキスト学習における干渉の研究
• Authors: Hanna Rød, Dagny Streit, Nils Valseth Selte, Justin Li,
• Abstract要約: In-context Learning (ICL)における文脈の頑健性について検討する。 ICLは、初期の例では、後続のタスクに適応するトランスフォーマーの能力に即座に干渉する現象である。 逐次的、混合、ランダムなカリキュラムの下で訓練されたモデルが突然のタスクスイッチをどのように扱うかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates context stickiness in in-context learning (ICL), a phenomenon where earlier examples in a prompt interfere with a transformer's ability to adapt to later tasks. Using synthetic regression tasks over linear and quadratic functions, we examine how models trained under sequential, mixed, and random curricula handle abrupt task switches during inference. By sweeping over structured combinations of misleading linear examples followed by recovery quadratic examples, we quantify how prior context biases prediction error and how quickly models realign. Our results show strong evidence of persistent interference: more preceding linear examples reliably degrade quadratic predictions, while additional quadratic examples reduce error but with diminishing returns. We further find that training curricula significantly modulate resilience, with sequential training on the target function class yielding the fastest recovery, and surprisingly, random training producing the least robust behavior.
• Abstract（参考訳）: 本稿では,初期事例が後続のタスクに適応するトランスフォーマーの能力に即座に干渉する現象である,インコンテキスト学習(ICL)における文脈の定着性について検討する。 線形および二次関数上の合成回帰タスクを用いて、逐次的、混合的、ランダムなカリキュラムの下で訓練されたモデルが、推論中に突然のタスクスイッチを処理する方法を検討する。 誤解を招く線形例と回復2次例の組み合わせを網羅することにより、事前の文脈偏差が予測誤差をいかに早く予測するかを定量化する。 より先行した線形例は2次予測を確実に劣化させる一方、追加の2次例は誤りを減少させるが、リターンは低下する。 さらに、トレーニングカリキュラムは弾力性を大幅に調節し、ターゲット関数クラスのシーケンシャルトレーニングは、最も早く回復し、驚くほどランダムなトレーニングは、最も頑健な振る舞いを生み出す。

関連論文リスト

• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Generalizability through Explainability: Countering Overfitting with Counterfactual Examples [6.3107782051840555]
  オーバーフィッティング(Overfitting)は、モデルが予測を新しい、目に見えないデータに一般化するのに苦労するときに発生する機械学習のよく知られた問題である。 オーバーフィッティングを緩和する従来のテクニックには、早期停止、データ拡張、正規化などがある。 CF-Regはトレーニング損失の新たな正規化用語であり,各インスタンスと対応するカウンターファクトの十分なマージンを確保することでオーバーフィッティングを制御する。
  論文  参考訳（メタデータ） (2025-02-13T11:33:17Z)
• Asymptotic theory of in-context learning by linear attention [37.3817914656799]
  インコンテキスト学習はトランスフォーマーの成功の土台である。 ICLを成功させるためには、必要なサンプルの複雑さ、事前学習タスクの多様性、コンテキストの長さに関する質問は未解決のままである。
  論文  参考訳（メタデータ） (2024-05-20T03:24:24Z)
• Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning? [58.942118128503104]
  因果的混乱(英: Causal confusion)とは、エージェントがデータ中の不完全な急激な相関を反映するポリシーを学ぶ現象である。 この現象は特にロボット工学などの領域で顕著である。 本稿では,オフライン強化学習における因果的混乱について検討する。
  論文  参考訳（メタデータ） (2023-12-28T17:54:56Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。