論文の概要: Lexical Perturbations Disrupt LLM Reasoning: An Empirical Study of Attention Diversion

• arxiv url: http://arxiv.org/abs/2608.22140v1
• Date: Sat, 22 Aug 2026 23:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.635434
• Title: Lexical Perturbations Disrupt LLM Reasoning: An Empirical Study of Attention Diversion
• Title（参考訳）: LLM推論の語彙的摂動 : 注意方向転換の実証的研究
• Abstract要約: 大規模言語モデル(LLM)は強い推論性能を達成するが、現実的な語彙的腐敗に対する頑健さはいまだに理解されていない。 キーボードノイズ,文字スワップ,フィラー挿入の4つの推論ベンチマークにおいて,4つのオープンウェイトな命令調整モデルとフロンティアモデルを評価した。 語彙的破損断片はサブワードトークン化され、結果として生じる断片は不均等な注意を惹きつける。
• 参考スコア（独自算出の注目度）: 5.695799452859879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) achieve strong reasoning performance, but their robustness to realistic lexical corruption remains poorly understood. We evaluate four open-weight instruction-tuned models and frontier models across four reasoning benchmarks under keyboard noise, character swaps, and filler insertion. Character-level perturbations substantially degrade accuracy, especially on multi-step reasoning tasks, while filler insertion has little effect. We trace this asymmetry to Attention Diversion: lexical corruption fragments subword tokenization, and the resulting fragments attract disproportionate attention mass, concentrated in middle and final transformer layers. Length-matched controls confirm that fragmentation, not prompt length, drives the loss. A factorial intervention then shows why the damage is hard to undo: fragmentation corrupts token content and attention allocation together, and the two are coupled. Restoring clean attention while the content remains corrupted is actively harmful, restoring content alone is insufficient, and only restoring both recovers a substantial share of the gap. This coupling explains why inference-time strategies, including chain-of-thought prompting, spell-checking, self-repair, and stronger repair models, fail to consistently recover performance: each addresses one channel at a time. Code and data are available at https://github.com/Jiaqian-Janelle/Attention-Diversion
• Abstract（参考訳）: 大規模言語モデル(LLM)は強い推論性能を達成するが、現実的な語彙的腐敗に対する頑健さはいまだに理解されていない。 キーボードノイズ,文字スワップ,フィラー挿入の4つの推論ベンチマークにおいて,4つのオープンウェイトな命令調整モデルとフロンティアモデルを評価した。 キャラクタレベルの摂動は、特に多段階推論タスクにおいて、精度を著しく低下させ、フィラー挿入はほとんど効果がない。 語彙的破損の断片はサブワードトークン化され、結果として生じる断片は、中間層と最終層に集中して不均等な注意を惹きつける。 長さマッチング制御は、フラグメンテーションが即時長ではなく、損失を引き起こすことを確認します。 フラグメンテーションはトークンの内容とアテンションアロケーションを一緒に破壊し、2つが結合される。 コンテンツが破損したままのクリーンな注意を回復することは、積極的に有害であり、コンテンツのみを復元することは不十分であり、両者がギャップのかなりの割合を回復するのみである。 この結合は、チェーン・オブ・シークレット・プロンプト、スペルチェック、自己修復、より強力な修復モデルを含む推論時戦略が、パフォーマンスを継続的に回復できない理由を説明している。 コードとデータはhttps://github.com/Jiaqian-Janelle/Attention-Diversionで公開されている。

関連論文リスト

• When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction [32.270076973760325]
  ゴール定義トークンは注意によってアクセスしにくくなり、ゴール関連情報は残留表現で持続する。 ゴールアクセシビリティ比(GAR)を導入し、生成トークンからタスク定義ゴールトークンへの注意を計測し、それをスライドウインドウアブレーションと残留ストリームプローブと組み合わせる。 アーキテクチャ全体において、遷移は定性的に異なる障害モードをもたらす: あるモデルは注意をそらしてゴール条件の動作を保ち、他のモデルは、デオード可能な残留目標情報にもかかわらず失敗し、この符号化が現れる層は2から27まで変化する。
  論文  参考訳（メタデータ） (2026-05-13T02:58:18Z)
• RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models [24.3914653184824]
  LVLM(Large Vision-Language Models)は、言語デコーダによって処理される膨大な数の視覚トークンによって、推論の禁止コストに悩まされる。 既存のプルーニング法は、視覚トークンの可逆的な除去が、事前訓練されたフルトケン状態から逸脱した隠れ状態の分布シフトを引き起こすため、大きな性能劣化を引き起こすことが多い。 本稿では,累積的視覚トークンプルーニングと遅延修復機構を統合した一貫性表現プルーナを提案する。
  論文  参考訳（メタデータ） (2026-04-04T13:31:45Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
  推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。 これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか? 一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-02-07T10:02:58Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
  テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。 DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。 SLIMはセマンティックリークに特化した最初のデータセットである。
  論文  参考訳（メタデータ） (2025-10-16T17:39:21Z)
• ThinkLess: A Training-Free Inference-Efficient Method for Reducing Reasoning Redundancy [8.962703809086628]
  ThinkLessは推論効率のよいフレームワークで、推論生成を早期に終了し、モデルを変更することなく出力品質を維持する。 我々はThinkLessが完全長のChain-of-Thought(CoT)デコードに匹敵する精度を実現し,デコード時間とメモリ消費を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2025-05-21T15:58:16Z)
• Cross-modal Active Complementary Learning with Self-refining Correspondence [54.61307946222386]
  既存手法のロバスト性を改善するために,クロスモーダルなロバスト補完学習フレームワーク(CRCL)を提案する。 ACLは、誤った監視を行うリスクを減らすために、アクティブで補完的な学習損失を利用する。 SCCは、モーメント補正を備えた複数の自己精製プロセスを使用して、対応を補正するために受容場を拡大する。
  論文  参考訳（メタデータ） (2023-10-26T15:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。