論文の概要: Statistical Theory of Multi-stage Newton Iteration Algorithm for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2508.07419v1
• Date: Sun, 10 Aug 2025 16:32:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.85324
• Title: Statistical Theory of Multi-stage Newton Iteration Algorithm for Online Continual Learning
• Title（参考訳）: オンライン連続学習のための多段階ニュートン反復アルゴリズムの統計的理論
• Authors: Xinjia Lu, Chuhan Wang, Qian Zhao, Lixing Zhu, Xuehu Zhu,
• Abstract要約: 制約された記憶容量は、履歴データの完全保持を防ぎ、シーケンシャルなタスクトレーニング中に破滅的な忘れを招きます。 統計的観点から,新しい連続学習フレームワークを提案する。 我々は,特定のシナリオにおける計算コストを大幅に削減するマルチステップニュートンイテレーションアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 8.523951376964076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We focus on the critical challenge of handling non-stationary data streams in online continual learning environments, where constrained storage capacity prevents complete retention of historical data, leading to catastrophic forgetting during sequential task training. To more effectively analyze and address the problem of catastrophic forgetting in continual learning, we propose a novel continual learning framework from a statistical perspective. Our approach incorporates random effects across all model parameters and allows the dimension of parameters to diverge to infinity, offering a general formulation for continual learning problems. To efficiently process streaming data, we develop a Multi-step Newton Iteration algorithm that significantly reduces computational costs in certain scenarios by alleviating the burden of matrix inversion. Theoretically, we derive the asymptotic normality of the estimator, enabling subsequent statistical inference. Comprehensive validation through synthetic data experiments and two real datasets analyses demonstrates the effectiveness of our proposed method.
• Abstract（参考訳）: 制約付き記憶容量が履歴データの完全保持を妨げるオンライン連続学習環境において、非定常データストリームを扱うという重要な課題に注目し、シーケンシャルなタスクトレーニング中に破滅的な忘れを生じさせる。 連続学習における破滅的忘れの問題をより効果的に分析し,対処するために,統計的観点から新しい連続学習フレームワークを提案する。 提案手法は,すべてのモデルパラメータに対するランダムな効果を取り入れ,パラメータの次元を無限大に分散させ,連続的な学習問題に対する一般的な定式化を提供する。 ストリーミングデータを効率的に処理するために,行列逆転の負担を軽減することで,特定のシナリオにおける計算コストを大幅に削減するマルチステップニュートンイテレーションアルゴリズムを開発した。 理論的には、推定器の漸近正規性を導出し、その後の統計的推測を可能にする。 合成データ実験と2つの実データ解析による包括的検証は,提案手法の有効性を実証する。

関連論文リスト

• Using Imperfect Synthetic Data in Downstream Inference Tasks [50.40949503799331]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を改善することができる。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
  回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
  論文  参考訳（メタデータ） (2025-03-24T10:06:07Z)
• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  本稿では,高次元一般化線形モデルにおけるオンライン推論に対する新しいアプローチを提案する。 提案手法は単一パスモードで動作し,全データセットアクセスや大次元要約統計ストレージを必要とする既存手法とは異なる。 我々の方法論的革新の核心は、動的目的関数に適した適応的降下アルゴリズムと、新しいオンラインデバイアス処理である。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Online Tensor Inference [0.0]
  従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。 既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。 本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
  論文  参考訳（メタデータ） (2023-12-28T16:37:48Z)
• Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
  提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。 大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T14:30:06Z)
• Byzantine-Resilient Federated Learning at Edge [20.742023657098525]
  重み付きデータを処理できるビザンチン耐性降下アルゴリズムを提案する。 また,学習過程におけるコストを考慮したアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-18T15:14:16Z)
• Smoothed Online Learning for Prediction in Piecewise Affine Systems [43.64498536409903]
  本稿では,最近開発されたスムーズなオンライン学習フレームワークに基づく。 これは、断片的なアフィン系における予測とシミュレーションのための最初のアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-01-26T15:54:14Z)
• Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity [51.476337785345436]
  有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。 ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T15:39:36Z)
• Online Bootstrap Inference For Policy Evaluation in Reinforcement Learning [90.59143158534849]
  近年の強化学習の出現は、頑健な統計的推論手法の需要を生み出している。 オンライン学習における統計的推論の既存の方法は、独立してサンプリングされた観察を含む設定に限られる。 オンラインブートストラップは線形近似アルゴリズムにおける統計的推測のための柔軟で効率的な手法であるが、マルコフノイズを含む設定における有効性はまだ検討されていない。
  論文  参考訳（メタデータ） (2021-08-08T18:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。