論文の概要: Cognitive Fatigue in Autoregressive Transformers: Formalization and Measurement

• arxiv url: http://arxiv.org/abs/2605.30981v1
• Date: Fri, 29 May 2026 08:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.465976
• Title: Cognitive Fatigue in Autoregressive Transformers: Formalization and Measurement
• Title（参考訳）: 自己回帰変換器の認知疲労:形式化と測定
• Abstract要約: 我々は,認知疲労を測定可能な世代状態として定式化し,本来のプロンプト,表現的ドリフト,エントロピーの誤校正に注目した。 本稿では,これらの3つの信号を明示的公理の下で集約するモデルに依存しない診断法である疲労指数(FI)を紹介する。 これらの結果から,コヒーレントかつ測定可能な現象として認知疲労が確立され,FIが実行時信頼性監視のツールとして位置づけられた。
• 参考スコア（独自算出の注目度）: 2.709736780477742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive language models frequently degrade during long-horizon generation, producing repetitive text, losing instruction adherence, and exhibiting unstable entropy. Despite the prevalence of these failures, practitioners lack online diagnostics to detect them in real-time as they occur. We formalize this degradation as cognitive fatigue, a measurable generation-time state characterized by decay in attention to the original prompt, representational drift, and entropy miscalibration. We introduce the Fatigue Index (FI), a lightweight, model-agnostic diagnostic that aggregates these three signals under explicit axioms (monotonicity, boundedness, interpretability) enabling reliable runtime monitoring. Across nine models (1B-13B parameters), FI trajectories exhibit structured temporal dynamics, predict task degradation (AUROC = 0.95) and repetition (Spearman rho = 0.94), and reveal non-monotonic scaling behavior: instruction-tuned models below 3B exhibit faster collapse than base models, with this trend reversing at 7B. Stress analyses further show that FI onset accelerates under longer contexts, middle-positioned evidence, and reduced numerical precision. These results establish cognitive fatigue as a coherent and measurable phenomenon, and position FI as a principled tool for runtime reliability monitoring in production LLM systems.
• Abstract（参考訳）: 自己回帰言語モデルは、長い水平生成の間にしばしば劣化し、繰り返しテキストを生成し、命令の順守を失い、不安定なエントロピーを示す。 これらの失敗の頻度にもかかわらず、実践者はオンライン診断を欠いて、リアルタイムでそれらを検出する。 我々は、この劣化を認知疲労、つまり、元のプロンプトへの注意の低下、表現的ドリフト、エントロピーの誤校正を特徴とする測定可能な世代状態として定式化する。 本稿では,これらの3つの信号(単調性,有界性,解釈可能性)を,信頼性の高いランタイム監視を実現するための,軽量でモデルに依存しない診断手法である疲労指数(FI)を紹介する。 9つのモデル(1B-13Bパラメータ)、FI軌道は構造化時間力学、予測タスク劣化(AUROC = 0.95)、反復(Spearman rho = 0.94)を示し、非単調なスケーリングの振る舞いを明らかにしている。 応力解析により、FIオンセットはより長い文脈で加速し、中位エビデンス、数値精度が低下することが示された。 これらの結果から,コヒーレントかつ測定可能な現象として認知疲労が確立され,実運用LLMシステムにおける実行時信頼性監視の原則的ツールとしてFIが位置づけられた。

関連論文リスト

• TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
  大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。 しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。 凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。 MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-18T23:40:28Z)
• Where to Refine, When to Stop: Rethinking Redundancy via Latent Discrepancy for Efficient Visual Autoregressive Generation [50.139984798361375]
  遅延不一致による冗長性を除去する学習自由フレームワークを提案する。 LD-Pruningは、Infinity-8Bの最大2.35倍のスピードアップを実現し、高い生成品質を維持しながら推論を大幅に削減する。
  論文  参考訳（メタデータ） (2026-05-29T19:34:39Z)
• Stabilizing Temporal Inference Dynamics for Online Surgical Phase Recognition [42.76777398447746]
  オンライン外科的位相認識(SPR)モデルはフレームの精度が高いが、その予測は時間的安定性に欠けることが多い。 この不安定性はランダムノイズではなく、2つのメカニズムから生じることを示す。 モデルに依存しないプラグイン・アンド・プレイコンポーネントを用いて時間的推論ダイナミクスを明示的に安定化する統合トレイン・推論・評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-11T16:56:15Z)
• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• The Stationarity Bias: Stratified Stress-Testing for Time-Series Imputation in Regulated Dynamical Systems [0.098314893665023]
  時系列計算ベンチマークはランダムマスキングと形状に依存しないメトリクスを使用する。 我々は、このバイアスを形式化し、評価を定常型と過渡型に分割するemphStratified Stress-Testを提案する。
  論文  参考訳（メタデータ） (2026-02-17T15:05:56Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• "I May Not Have Articulated Myself Clearly": Diagnosing Dynamic Instability in LLM Reasoning at Inference Time [1.570719611178015]
  大規模言語モデル(LLM)の推論失敗は通常、世代末にのみ測定されるが、プロセスレベルのブレークダウンとして多くの障害が現れる。 連続的なステップ分布シフト(JSD)と不確実性(エントロピー)を組み合わせた単純な不安定信号を定義する。 GSM8KとHotpotQA全体で、不安定性はAUCで間違った解を予測し、単調バケットレベルの精度を低下させる。
  論文  参考訳（メタデータ） (2026-02-02T22:11:25Z)
• EDIS: Diagnosing LLM Reasoning via Entropy Dynamics [3.858418431840288]
  生成過程における信頼の時空間的進化は,集計統計単独よりも豊かな情報をもたらすことを示す。 本稿では,エントロピー進化における不安定性を定量化するための軌道レベルの指標であるエントロピーダイナミクス不安定スコア(textbfEDIS)を紹介する。
  論文  参考訳（メタデータ） (2026-02-01T15:43:50Z)
• GO-OSC and VASH: Geometry-Aware Representation Learning for Early Degradation Detection in Oscillatory Systems [0.0]
  本稿では,振動時系列の幾何学的表現学習フレームワークGO-OSCを紹介する。 初期位相のみの劣化下では、エネルギーベースの統計は1次検出能力がゼロであるのに対し、幾何プローブは厳密に正の感度を得る。 解析では, 線形探索が不特定表現の下でいつ, なぜ失敗するのかを特徴付けるとともに, 正準化が統計的検出性を回復することを示す。
  論文  参考訳（メタデータ） (2026-01-24T09:35:57Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。