論文の概要: Memory-Statistics Tradeoff in Continual Learning with Structural Regularization

• arxiv url: http://arxiv.org/abs/2504.04039v1
• Date: Sat, 05 Apr 2025 03:14:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:43.388157
• Title: Memory-Statistics Tradeoff in Continual Learning with Structural Regularization
• Title（参考訳）: 構造規則化による連続学習におけるメモリ統計トレードオフ
• Authors: Haoran Li, Jingfeng Wu, Vladimir Braverman,
• Abstract要約: 本研究では,2つの線形回帰課題を伴う連続学習問題の統計的性能を,適切に特定されたランダムな設計条件下で検証する。 本稿では,前処理のヘシアンに合わせた一般化された$ell$-regularizationを組み込んだ構造正則化アルゴリズムについて考察する。
• 参考スコア（独自算出の注目度）: 27.154013172469853
• License:
• Abstract: We study the statistical performance of a continual learning problem with two linear regression tasks in a well-specified random design setting. We consider a structural regularization algorithm that incorporates a generalized $\ell_2$-regularization tailored to the Hessian of the previous task for mitigating catastrophic forgetting. We establish upper and lower bounds on the joint excess risk for this algorithm. Our analysis reveals a fundamental trade-off between memory complexity and statistical efficiency, where memory complexity is measured by the number of vectors needed to define the structural regularization. Specifically, increasing the number of vectors in structural regularization leads to a worse memory complexity but an improved excess risk, and vice versa. Furthermore, our theory suggests that naive continual learning without regularization suffers from catastrophic forgetting, while structural regularization mitigates this issue. Notably, structural regularization achieves comparable performance to joint training with access to both tasks simultaneously. These results highlight the critical role of curvature-aware regularization for continual learning.
• Abstract（参考訳）: 本研究では,2つの線形回帰課題を伴う連続学習問題の統計的性能を,適切に特定されたランダムな設計条件下で検証する。 本稿では,大惨な忘れを緩和する前処理のヘシアンに合わせた一般化された$\ell_2$-regularizationを組み込んだ構造正規化アルゴリズムについて考察する。 我々は,このアルゴリズムの結合余剰リスクの上限を上下に設定する。 解析の結果,構造正則化を定義するのに必要なベクトルの数から,メモリの複雑性と統計的効率の基本的なトレードオフが明らかになった。 具体的には、構造正則化におけるベクトル数の増加は、メモリの複雑さを悪化させるが、過剰なリスクを改善させる。 さらに,本理論は,正規化を伴わないナイーブな連続学習は破滅的な忘れ込みに悩まされ,構造的正規化はこの問題を軽減することを示唆している。 特に、構造的正規化は、両方のタスクに同時にアクセスできる共同トレーニングと同等のパフォーマンスを達成する。 これらの結果は,連続学習における曲率を考慮した正規化の重要な役割を浮き彫りにした。

関連論文リスト

• On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
  本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。 我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
  論文  参考訳（メタデータ） (2024-10-21T14:53:12Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Structured Prediction in Online Learning [66.36004256710824]
  オンライン学習環境における構造化予測のための理論的・アルゴリズム的枠組みについて検討する。 このアルゴリズムは教師付き学習環境からの最適アルゴリズムの一般化であることを示す。 本稿では,非定常データ分布,特に逆データを含む2番目のアルゴリズムについて考察する。
  論文  参考訳（メタデータ） (2024-06-18T07:45:02Z)
• A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
  線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。 まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。 理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
  論文  参考訳（メタデータ） (2024-06-10T12:25:13Z)
• On the generalization of learning algorithms that do not converge [54.122745736433856]
  ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。 最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
  論文  参考訳（メタデータ） (2022-08-16T21:22:34Z)
• Optimistic Rates: A Unifying Theory for Interpolation Learning and Regularization in Linear Regression [35.78863301525758]
  我々は「最適化率」として知られる一様収束の局所的概念を研究する。 改良された解析は既存の結果の隠れ定数と対数係数を回避している。
  論文  参考訳（メタデータ） (2021-12-08T18:55:00Z)
• Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
  我々は、$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。 マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE ($l_1/l$-regularized maximum chance estimator) を提案する。 理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
  論文  参考訳（メタデータ） (2021-11-03T22:10:18Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Fine-grained Generalization Analysis of Vector-valued Learning [28.722350261462463]
  正規化ベクトル値学習アルゴリズムの一般化解析を,出力次元に軽度依存する境界とサンプルサイズに高速速度を提示することで開始する。 最適化と学習の相互作用を理解するために、結果を使用して、ベクトル値関数による降下の最初の境界を導出します。 副生成物として、一般凸函数の項で定義される損失関数クラスに対してラデマッハ複雑性を導出する。
  論文  参考訳（メタデータ） (2021-04-29T07:57:34Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。