論文の概要: Silent Collapse in Recursive Learning Systems

• arxiv url: http://arxiv.org/abs/2605.14588v2
• Date: Tue, 19 May 2026 14:15:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.355264
• Title: Silent Collapse in Recursive Learning Systems
• Title（参考訳）: 再帰学習システムにおける無音崩壊
• Authors: Zhipeng Zhang,
• Abstract要約: トラジェクトリ統計をモニタし、遅い時間スケールの信頼変数を推定する軽量なメタ認知ループを提案する。 MTRは早期警告を提供し、実際のデータにアクセスすることなくサイレント崩壊を積極的に防止する。
• 参考スコア（独自算出の注目度）: 24.578102943388256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive learning -- where models are trained on data generated by previous versions of themselves -- is increasingly common in large language models, autonomous agents, and self-supervised systems. However, standard performance metrics (loss, perplexity, accuracy) often fail to detect internal degradation before it becomes irreversible. Here we identify a phenomenon we call silent collapse: under broad recursive conditions, model internal distributions -- predictive entropy, representational diversity, and tail coverage -- progressively contract even as conventional metrics appear stable or improving. We discover that silent collapse is not abrupt. Its onset is reliably preceded by three trajectory-level precursors: (1) contraction of anchor entropy, (2) freezing of representation drift, and (3) erosion of tail coverage. These signals manifest multiple generations before any degradation in standard validation metrics, enabling early warning. Based on these precursors, we propose the MTR (Monitor--Trust--Regulator) framework, a lightweight metacognitive loop that monitors trajectory statistics, estimates a slow-timescale trust variable, and adaptively modulates the effective learning intensity. MTR provides early warning and actively prevents silent collapse without requiring access to pristine real data -- a critical advantage when original data is unavailable, contaminated, or private.
• Abstract（参考訳）: モデルが以前のバージョンで生成されたデータに基づいてトレーニングされる再帰学習は、大規模言語モデル、自律エージェント、そして自己管理システムでますます一般的になっています。 しかしながら、標準的なパフォーマンスメトリクス(ロス、パープレキシティ、精度)は、可逆性になる前に内部の劣化を検出することができないことが多い。 ここでは、サイレント崩壊(サイレント崩壊)と呼ぶ現象を特定します。広い再帰的な条件下では、内部分布(予測エントロピー、表現の多様性、尾のカバレッジ)をモデル化します。 静かな崩壊が突然ではないことが分かりました。 その開始は、(1)アンカーエントロピーの収縮、(2)表現の凍結、(3)尾部被覆の侵食の3つの軌道レベルの前駆体によって確実に先行している。 これらの信号は、標準バリデーションメトリクスが劣化する前に、数世代にわたって現れ、早期警告を可能にします。 これらの前駆体に基づいて、トラジェクトリ統計を監視し、遅い時間スケールの信頼変数を推定し、効果的な学習強度を適応的に調節する軽量なメタ認知ループであるMTR(Monitor--Trust-Regulator)フレームワークを提案する。 MTRは早期警告を提供し、実際のデータにアクセスする必要なしにサイレント崩壊を積極的に防止する。

関連論文リスト

• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• time2time: Causal Intervention in Hidden States to Simulate Rare Events in Time Series Foundation Models [7.400285974510125]
  我々は,ある事象の統計モーメントを他の事象に付与することで,隠れた状態を操作する因果的介入である移植活性化を導入する。 モデルが事象重大性の段階的概念を符号化し、潜在ベクトルノルムはシステム的ショックの大きさに直接関連していることがわかった。 本研究は, モデル予測を規定する潜在概念空間の証拠として, ポストホック帰属から直接因果介入への解釈可能性のシフトが示唆された。
  論文  参考訳（メタデータ） (2025-09-06T18:28:20Z)
• METANOIA: A Lifelong Intrusion Detection and Investigation System for Mitigating Concept Drift [6.988127333802916]
  本稿では,概念漂流による偽陽性を緩和する最初の終生検出システムであるMetanoiaについて述べる。 最先端ベンチマークを用いて,MeTANOIAはウィンドウレベル,グラフレベル,ノードレベルの精度をそれぞれ30%,54%,29%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-31T13:44:27Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。