論文の概要: Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning

• arxiv url: http://arxiv.org/abs/2608.11690v1
• Date: Wed, 12 Aug 2026 06:01:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.477219
• Title: Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning
• Title（参考訳）: ドリフトと依存:リプレイに基づく連続学習のためのレイヤワイズ情報理論境界
• Abstract要約: 継続的な学習は、古いタスクを消去することなく新しいタスクを吸収し、リプレイ — 過去の例の小さなバッファを現在のトレーニングに混ぜる — 破滅的な忘れ方に対する最も効果的な治療法のひとつです。 我々は、各深さでこれらの効果を分離するレイヤワイド情報理論フレームワークを開発する。 制御およびベンチマーク実験により、予測されたメモリスケーリング、内部ファンネル、およびアライメント信号の忘れへのリンクを確認する。
• 参考スコア（独自算出の注目度）: 41.371439825328544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning must absorb new tasks without erasing old ones, and replay---mixing a small buffer of past examples into current training---is among the most effective remedies for catastrophic forgetting. Yet its generalization behavior is shaped by two coupled effects that existing analyses fold into a single hypothesis-level quantity: finite memory replaces each past distribution with an empirical proxy, and repeated reuse couples the buffer, the current data, and the final hypothesis through a shared optimization trajectory. We develop a layer-wise information-theoretic framework that separates these effects at every depth. Our main result decomposes the expected generalization gap into a replay-induced representation drift and an optimization-dependence term, the latter further resolved into stability, plasticity, interaction, and residual-coupling components. Two refinements make the framework operational. A Wasserstein relaxation of the drift term, valid under support mismatch, yields a depth-dependent drift--sensitivity trade-off whose minimizer identifies which interior layer to stabilize. An SGLD instantiation of the optimization term reduces it to a trajectory-level log-determinant budget, exposing a curvature-aware gradient-alignment statistic that serves as an online diagnostic of task-wise forgetting. Controlled and benchmark experiments confirm the predicted memory scaling, the interior funnel, and the alignment signal's link to forgetting.
• Abstract（参考訳）: 継続的な学習は、古いタスクを消去することなく新しいタスクを吸収し、リプレイ — 過去の例の小さなバッファを現在のトレーニングに混ぜる — 破滅的な忘れ方に対する最も効果的な治療法のひとつです。 有限メモリは過去の分布を経験的プロキシで置き換え、繰り返し再利用することでバッファ、現在のデータ、最終的な仮説を共有最適化軌道で結合する。 我々は、各深さでこれらの効果を分離するレイヤワイド情報理論フレームワークを開発する。 本研究の主な成果は、期待される一般化ギャップをリプレイ誘起表現ドリフトと最適化依存項に分解し、後者はさらに安定性、可塑性、相互作用、残余結合成分に分解する。 2つの改良がフレームワークを運用する。 支持ミスマッチの下で有効なドリフト項の緩和は、最小化器がどの内部層を安定化させるかを識別する深さ依存ドリフト感度トレードオフをもたらす。 最適化項のSGLDインスタンス化は、それを軌道レベルのログ決定的予算に還元し、タスクワイドな忘れのオンライン診断として機能する曲率を考慮した勾配調整統計を露呈する。 制御およびベンチマーク実験により、予測されたメモリスケーリング、内部ファンネル、およびアライメント信号の忘れへのリンクを確認する。

関連論文リスト

• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Dropout Universality: Scaling Laws and Optimal Scheduling at the Edge-of-Chaos [0.2864713389096699]
  我々は,カオスの端における臨界信号伝搬の摂動として,ドロップアウトの平均場理論を開発する。 相関崩壊に対する臨界およびクロスオーバースケーリング法則を導出し、滑らかな活性化とキンクされたReLU様の活性化が異なるクラスであることを示す。
  論文  参考訳（メタデータ） (2026-05-20T19:00:02Z)
• Recovering Physical Dynamics from Discrete Observations via Intrinsic Differential Consistency [12.266189649117003]
  我々は地域の監督をグローバルな構造的制約に置き換える。 この特性からの偏差が2つの目的に作用する時間条件のセカント速度場を訓練する。 トレーニング正則化器として、時間スケールで一貫して構成されるフローに仮説空間を限定する。
  論文  参考訳（メタデータ） (2026-05-08T20:24:32Z)
• Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
  バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。 自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
  論文  参考訳（メタデータ） (2026-02-13T04:05:03Z)
• Why Some Models Resist Unlearning: A Linear Stability Perspective [7.446140380340418]
  我々は線形コヒーレンス安定性のレンズを通してアンラーニングを行う。 我々は3つの軸に沿ってコヒーレンスを分解する。 データ特性と忘れやすさを更に関連付けるために,信号+雑音モデルの下で2層ReLU CNNについて検討する。 経験的幾何学では、ヘッセンテストとCNNヒートマップが予測境界と密接に一致していることを示し、安定性勾配に基づくアンラーニングを検証、混合、データ/モデルアライメントの関数としてマッピングする。
  論文  参考訳（メタデータ） (2026-02-03T01:47:26Z)
• SPEAR++: Scaling Gradient Inversion via Sparsely-Used Dictionary Learning [48.41770886055744]
  Federated Learningは最近、現実世界のシナリオへのデプロイが増えている。 いわゆる勾配反転攻撃の導入は、プライバシー保護特性に挑戦している。 本稿では,ReLU活性化を伴う線形層の勾配の理論的解析に基づくSPEARを紹介する。 新たな攻撃であるSPEAR++は、DPノイズに対する堅牢性やFedAvgアグリゲーションなど、SPEARの望ましい特性をすべて保持しています。
  論文  参考訳（メタデータ） (2025-10-28T09:06:19Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。