論文の概要: Silent Collapse in Recursive Learning Systems

• arxiv url: http://arxiv.org/abs/2605.14588v2
• Date: Tue, 19 May 2026 14:15:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.355264
• Title: Silent Collapse in Recursive Learning Systems
• Title（参考訳）: 再帰学習システムにおける無音崩壊
• Abstract要約: トラジェクトリ統計をモニタし、遅い時間スケールの信頼変数を推定する軽量なメタ認知ループを提案する。 MTRは早期警告を提供し、実際のデータにアクセスすることなくサイレント崩壊を積極的に防止する。
• 参考スコア（独自算出の注目度）: 24.578102943388256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive learning -- where models are trained on data generated by previous versions of themselves -- is increasingly common in large language models, autonomous agents, and self-supervised systems. However, standard performance metrics (loss, perplexity, accuracy) often fail to detect internal degradation before it becomes irreversible. Here we identify a phenomenon we call silent collapse: under broad recursive conditions, model internal distributions -- predictive entropy, representational diversity, and tail coverage -- progressively contract even as conventional metrics appear stable or improving. We discover that silent collapse is not abrupt. Its onset is reliably preceded by three trajectory-level precursors: (1) contraction of anchor entropy, (2) freezing of representation drift, and (3) erosion of tail coverage. These signals manifest multiple generations before any degradation in standard validation metrics, enabling early warning. Based on these precursors, we propose the MTR (Monitor--Trust--Regulator) framework, a lightweight metacognitive loop that monitors trajectory statistics, estimates a slow-timescale trust variable, and adaptively modulates the effective learning intensity. MTR provides early warning and actively prevents silent collapse without requiring access to pristine real data -- a critical advantage when original data is unavailable, contaminated, or private.
• Abstract（参考訳）: モデルが以前のバージョンで生成されたデータに基づいてトレーニングされる再帰学習は、大規模言語モデル、自律エージェント、そして自己管理システムでますます一般的になっています。 しかしながら、標準的なパフォーマンスメトリクス(ロス、パープレキシティ、精度)は、可逆性になる前に内部の劣化を検出することができないことが多い。 ここでは、サイレント崩壊(サイレント崩壊)と呼ぶ現象を特定します。広い再帰的な条件下では、内部分布(予測エントロピー、表現の多様性、尾のカバレッジ)をモデル化します。 静かな崩壊が突然ではないことが分かりました。 その開始は、(1)アンカーエントロピーの収縮、(2)表現の凍結、(3)尾部被覆の侵食の3つの軌道レベルの前駆体によって確実に先行している。 これらの信号は、標準バリデーションメトリクスが劣化する前に、数世代にわたって現れ、早期警告を可能にします。 これらの前駆体に基づいて、トラジェクトリ統計を監視し、遅い時間スケールの信頼変数を推定し、効果的な学習強度を適応的に調節する軽量なメタ認知ループであるMTR(Monitor--Trust-Regulator)フレームワークを提案する。 MTRは早期警告を提供し、実際のデータにアクセスする必要なしにサイレント崩壊を積極的に防止する。

関連論文リスト

• Evidence of Absence: Cross-Modal Abductive Risk Perception to Sustain World Models When Vision Fails [11.206758778146282]
  構造化された世界状態は、知覚が劣化するときに予測クリティカルな内容を保存するように設計されている。 我々は、想定された共証拠の欠如を隠れた原因の証拠として扱うことにより、相補的なモダリティから世界モデルを維持する方法について論じる。 マイクロホンアレイフロントエンドは、エンジンおよびタイヤ源の軸受を推定し、接近速度証拠を抽出する。
  論文  参考訳（メタデータ） (2026-08-15T00:38:17Z)
• Do Activation Monitors Survive Model Updates? Benchmarking, Predicting, and Repairing Activation-Monitor Staleness [0.16921396880325779]
  ベースモデル上でトレーニングされたアクティベーションモニタが,定期的なモデル更新後も信頼性が保たれているかどうかを検証した。 量子化スタイルの更新は、主に凍結プローブのパフォーマンスを保ち、微調整スタイルの更新は、しばしばプローブを不安定にする。 また、前処理機能から劣化が予測可能であることも示し、再配置予算をモニターに向けてトリアージすることが可能となり、最も失敗する可能性が最も高い。
  論文  参考訳（メタデータ） (2026-06-14T19:07:22Z)
• Anomaly-Informed Confidence Calibration for Vision-Based Safety Prediction [1.0981335059631014]
  既存の異常信号における臨界知覚-力学ギャップを同定する。 本研究では,世界モデルから抽出した2つの異常スコアを融合する異常情報オンライン手法を提案する。
  論文  参考訳（メタデータ） (2026-05-20T12:43:09Z)
• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• time2time: Causal Intervention in Hidden States to Simulate Rare Events in Time Series Foundation Models [7.400285974510125]
  我々は,ある事象の統計モーメントを他の事象に付与することで,隠れた状態を操作する因果的介入である移植活性化を導入する。 モデルが事象重大性の段階的概念を符号化し、潜在ベクトルノルムはシステム的ショックの大きさに直接関連していることがわかった。 本研究は, モデル予測を規定する潜在概念空間の証拠として, ポストホック帰属から直接因果介入への解釈可能性のシフトが示唆された。
  論文  参考訳（メタデータ） (2025-09-06T18:28:20Z)
• METANOIA: A Lifelong Intrusion Detection and Investigation System for Mitigating Concept Drift [6.988127333802916]
  本稿では,概念漂流による偽陽性を緩和する最初の終生検出システムであるMetanoiaについて述べる。 最先端ベンチマークを用いて,MeTANOIAはウィンドウレベル,グラフレベル,ノードレベルの精度をそれぞれ30%,54%,29%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-31T13:44:27Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。