Fugu-MT 論文翻訳(概要): Convergence of Continual Learning in Homogeneous Deep Networks

論文の概要: Convergence of Continual Learning in Homogeneous Deep Networks

arxiv url: http://arxiv.org/abs/2606.30559v1
Date: Mon, 29 Jun 2026 16:55:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:16.342161
Title: Convergence of Continual Learning in Homogeneous Deep Networks
Title（参考訳）: 均一深層ネットワークにおける連続学習の収束性
Abstract要約: 線形単純モデルであっても、大域的な分類は一般的に失敗する。我々は分析を連続回帰に拡張し、射影の枠組みを統一する。
参考スコア（独自算出の注目度）: 21.210131216988298
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We characterize weakly regularized continual classification in homogeneous models as sequential projections onto task margin sets. This result generalizes prior analyses restricted to either stationary (single-task) deep models or continual linear models. We show that global convergence generally fails, even for simple models linear in data but nonlinear in parameters. Nevertheless, by leveraging results from nonconvex projection theory, we identify regularity properties of homogeneous deep networks that guarantee local linear convergence under random and cyclic task sequences. Finally, we extend our analysis to continual regression, unifying the framework for homogeneous models.
Abstract（参考訳）: 等質モデルにおける弱正規化連続分類をタスクマージン集合への逐次射影として特徴付ける。この結果は、定常(単一タスク)ディープモデルまたは連続線型モデルに制限された事前解析を一般化する。データでは線形だがパラメータでは非線形な単純なモデルであっても、大域収束は一般的に失敗する。それにもかかわらず、非凸射影理論の結果を活用することで、ランダムなタスク列と巡回的なタスク列の下で局所的な線形収束を保証する均質なディープネットワークの正則性を同定する。最後に、解析を連続回帰に拡張し、同次モデルの枠組みを統一する。

関連論文リスト

Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文参考訳（メタデータ） (2024-10-03T09:07:13Z)
Hybrid Top-Down Global Causal Discovery with Local Search for Linear and Nonlinear Additive Noise Models [2.0738462952016232]
関数因果モデルに基づく手法は、ユニークなグラフを識別することができるが、次元性の呪いや強いパラメトリックな仮定を課すことに苦しむ。本研究では,局所的な因果構造を利用した観測データにおけるグローバル因果発見のための新しいハイブリッド手法を提案する。我々は, 合成データに対する実証的な検証を行い, 正確性および最悪の場合の時間複雑度を理論的に保証する。
論文参考訳（メタデータ） (2024-05-23T12:28:16Z)
Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文参考訳（メタデータ） (2023-06-04T02:32:12Z)
Implicit Regularization for Group Sparsity [33.487964460794764]
正方形回帰損失に対する勾配勾配は, 明示的な正則化を伴わずに, 群間隔構造を持つ解に偏りを示す。一般雑音設定における回帰問題の勾配ダイナミクスを解析し,最小最適誤差率を求める。サイズ 1 群の退化の場合、我々の手法は疎線形回帰の新しいアルゴリズムを生み出す。
論文参考訳（メタデータ） (2023-01-29T20:54:03Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Uniform Consistency in Nonparametric Mixture Models [12.382836502781258]
非パラメトリック混合モデルと混合回帰モデルにおける一様整合性について検討する。混合回帰の場合、回帰関数の$L1$収束を証明し、成分回帰関数を任意に交わすことができる。
論文参考訳（メタデータ） (2021-08-31T17:53:52Z)
Lower Bounds on the Generalization Error of Nonlinear Learning Models [2.1030878979833467]
本稿では,多層ニューラルネットワークから導出したモデルの一般化誤差に対する下限について,学習データ中のサンプル数と層の大きさが一致した状況下で検討する。偏りのない推定器は,このような非線形ネットワークでは受け入れられない性能を示す。線形回帰や2層ネットワークの場合、一般偏差推定器の明示的な一般化の下界を導出する。
論文参考訳（メタデータ） (2021-03-26T20:37:54Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文参考訳（メタデータ） (2021-03-02T06:59:52Z)
Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
論文参考訳（メタデータ） (2020-12-09T16:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。