論文の概要: Spontaneous Context Restoration: How Language Models Recover from Corrupted Inputs

• arxiv url: http://arxiv.org/abs/2609.35475v1
• Date: Mon, 28 Sep 2026 15:54:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:04:17.50007
• Title: Spontaneous Context Restoration: How Language Models Recover from Corrupted Inputs
• Title（参考訳）: 自発的文脈復元 : 故障した入力から言語モデルがどのように回復するか
• Abstract要約: 言語モデルは、入力が削除、置換、ミススペルによって破損しても、正しい出力を生成することがある。 我々は,この行動に伴う内部プロセスについて検討し,その過程を文脈復元と呼ぶ。 注意のみのトランスでは、クリーンなシーケンスのみのトレーニングにもかかわらず、自然に回復する。
• 参考スコア（独自算出の注目度）: 3.7173066596611926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models sometimes produce correct outputs even when their inputs are corrupted by deletion, replacement, or misspelling. We study the internal processes accompanying this behavior, which we call context restoration, in controlled attention-only transformers and five pretrained LLMs (1B-32B parameters) across arithmetic, reading comprehension, and multiple-choice reasoning tasks. In the attention-only transformers, restoration emerges spontaneously despite training exclusively on clean sequences, without corruption training or an explicit denoising objective. We find that context restoration follows a two-phase process: early layers localize effects associated with repair at corrupted positions, while later layers accumulate these effects at uncorrupted positions through the residual stream and ultimately concentrate them at the output position. Repair outcome is predictable from hidden states: cosine alignment with the clean state is highly predictive in attention-only models, while linear probes recover additional information in pretrained LLMs. A linear probe using only the corrupted prompt's first-block hidden state predicts failure with mean ROC-AUC 0.78. This enables failure triage under matched or even partially shifted deployment conditions and may reduce unnecessary verification or computation. Failed examples also show substantially greater nonlinearity along corruption directions. Moderate-corruption finetuning increases corruption tolerance while simultaneously reducing displacement-normalized linearization error, associating improved robustness with a more nearly linear response to corruption.
• Abstract（参考訳）: 言語モデルは、入力が削除、置換、ミススペルによって破損しても、正しい出力を生成することがある。 この動作に伴う内部プロセスについて検討し、制御された注意のみの変換器と算術、読解、複数選択推論タスクの5つの事前学習LDM(1B-32Bパラメータ)について検討する。 注意のみのトランスフォーマーでは、汚職訓練や明示的な妄想の対象なしに、クリーンなシーケンスのみのトレーニングにもかかわらず、修復が自然に現れる。 初期層は、破損した位置での修復に関連する効果を局所化し、後期層は、残留ストリームを介して破壊されていない位置でこれらの効果を蓄積し、最終的に出力位置に集中させる。 修復結果は隠れた状態から予測可能であり、クリーンな状態とのコサインアライメントは注意のみのモデルで非常に予測可能であり、線形プローブは事前訓練されたLCMで追加情報を復元する。 破損したプロンプトの第1ブロック隠蔽状態のみを用いた線形プローブは、平均ROC-AUC 0.78の故障を予測する。 これにより、一致したあるいは部分的にシフトしたデプロイメント条件下での障害トリアージが可能になり、不要な検証や計算を削減できる。 失敗した例は、汚職の方向に沿ってかなり大きな非線形性を示す。 適度な破壊微調整は、破壊耐性を増大させ、同時に変位正規化線形化誤差を減少させ、劣化に対するより概ね線形応答による堅牢性を向上させる。

関連論文リスト

• TrainSDC: Characterizing and Mitigating Silent Data Corruption in Large Language Model Training [9.623697282987083]
  本稿では,Transformer トレーニングにおいて,主要な計算インタフェースにまたがるサイレントデータ破損(SDC)の脆弱性を初めて体系的に評価する。 そこで本研究では,Q/Kパス再計算,残差ゲイン監視,指数認識勾配スケーリングからなる評価誘導型保護フレームワークTrainSDCを提案する。
  論文  参考訳（メタデータ） (2026-08-31T13:33:26Z)
• Lexical Perturbations Disrupt LLM Reasoning: An Empirical Study of Attention Diversion [5.695799452859879]
  大規模言語モデル(LLM)は強い推論性能を達成するが、現実的な語彙的腐敗に対する頑健さはいまだに理解されていない。 キーボードノイズ,文字スワップ,フィラー挿入の4つの推論ベンチマークにおいて,4つのオープンウェイトな命令調整モデルとフロンティアモデルを評価した。 語彙的破損断片はサブワードトークン化され、結果として生じる断片は不均等な注意を惹きつける。
  論文  参考訳（メタデータ） (2026-08-22T23:51:33Z)
• NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption [67.57304101271096]
  Element-wise Masking (EM) は、エッジによって引き起こされるメッセージをゼロに抑制する。 ノイズ破壊(NC)は、一致したノームなランダムな方向の破損を通じて各メッセージに摂動を与える。 騒音破壊に基づく説明フレームワークであるNICEは、NCが引き起こす不確実性の下で復元境界(英語版)(SRB)を学習する。
  論文  参考訳（メタデータ） (2026-08-17T03:08:14Z)
• Actionable Hallucination Detection: Translating Latent Uncertainty into Agentic Critique [1.1172382217477128]
  AIエージェントとしてデプロイされるLarge Language Models (LLM)は、しばしばユーザ仕様のグラウンド障害を示す。 既存の検出方法は、幻覚をローカライズしないか、禁忌の推論遅延を発生しないため、実行可能でリアルタイムな修正を提供することができない。 フリーズベースLCM世代と並行して動作する軽量低ランクアダプタ(LoRA)であるLatent Criticを導入する。
  論文  参考訳（メタデータ） (2026-08-11T03:26:16Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• Understanding and Mitigating Dataset Corruption in LLM Steering [6.00100484414311]
  本研究では, ノイズや逆データ破損に対するコントラッシブ・ステアリングの堅牢性について検討する。 操舵方向の学習における重要なステップは、高次元平均計算である。 このステップを、最近開発された堅牢な平均推定器で置き換えることによって、悪質な汚職の望ましくない影響の大部分を軽減できることが示されています。
  論文  参考訳（メタデータ） (2026-03-03T18:00:49Z)
• Learning Robust Reasoning through Guided Adversarial Self-Play [32.87933476043378]
  本稿では,GASP(Guided Adrial Self-Play)を導入した。 人間のラベルや外部教師がいなければ、GASPは単一のモデル内で敵のセルフプレイゲームを形成する。 自己生成修復の模倣用語であるin-distriion repair guidanceは、以前取得した機能を保持しながら回復確率を高める。
  論文  参考訳（メタデータ） (2026-01-30T02:23:31Z)
• Corrupted but Not Broken: Understanding and Mitigating the Negative Impacts of Corrupted Data in Visual Instruction Tuning [92.16191092329765]
  マルチモーダル大言語モデル(MLLM)における劣化データの影響について検討する。 劣化したデータはモデル性能を劣化させるが、そのような悪影響は大部分が可逆的である。 破損したデータの影響を緩和する既存の戦略をはるかに上回る汚職・汚職訓練パラダイムを導入する。
  論文  参考訳（メタデータ） (2025-02-18T08:28:29Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。