Fugu-MT 論文翻訳(概要): Incremental Learning in Diagonal Linear Networks

論文の概要: Incremental Learning in Diagonal Linear Networks

arxiv url: http://arxiv.org/abs/2208.14673v2
Date: Mon, 13 Nov 2023 07:55:07 GMT
ステータス: 処理完了
システム内更新日: 2023-11-14 22:53:05.517072
Title: Incremental Learning in Diagonal Linear Networks
Title（参考訳）: 対角線形ネットワークにおけるインクリメンタル学習
Authors: Rapha\"el Berthier
Abstract要約: 対角線ネットワーク(英: Diagonal linear network、DLN)は、人工ニューラルネットワークを単純化した玩具である。これらは、疎暗正則化を誘導する線形回帰の二次的再パラメータ化から構成される。この研究は、技術的理由から、反相関的な特徴を持つ過度にパラメトリケートされた体制に限られている。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Diagonal linear networks (DLNs) are a toy simplification of artificial neural networks; they consist in a quadratic reparametrization of linear regression inducing a sparse implicit regularization. In this paper, we describe the trajectory of the gradient flow of DLNs in the limit of small initialization. We show that incremental learning is effectively performed in the limit: coordinates are successively activated, while the iterate is the minimizer of the loss constrained to have support on the active coordinates only. This shows that the sparse implicit regularization of DLNs decreases with time. This work is restricted to the underparametrized regime with anti-correlated features for technical reasons.
Abstract（参考訳）: 対角線ネットワーク(Diagonal linear network,DLN)は、人工知能ニューラルネットワークのおもちゃの単純化であり、疎い暗黙の正規化を誘導する線形回帰の二次的再パラメータ化から構成される。本稿では,dlnの微小初期化限界における勾配流れの軌跡について述べる。逐次的学習は, 座標を逐次活性化するのに対して, 反復的学習は, 活性座標のみをサポートするよう制約された損失の最小化要因であることを示す。このことは, DLNの希薄な正則化が時間とともに減少することを示している。この作業は、技術的な理由から、反相関的な特徴を持つ非パラメトリライズド・レジームに限定されている。

関連論文リスト

Disparate Impact on Group Accuracy of Linearization for Private Inference [48.27026603581436]
多数派と比較して,ReLUアクティベーション数の減少は少数派に対する精度を著しく低下させることを示す。また,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。
論文参考訳（メタデータ） (2024-02-06T01:56:29Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks [0.0]
直交線形ネットワークの勾配流による暗黙の正規化について, 鋭い結果を示す。これを近似の一般化硬度における相転移現象と関連付ける。結果の非シャープ性は、基礎追従最適化問題に対して、GHA現象が起こらないことを意味する。
論文参考訳（メタデータ） (2023-07-13T13:27:51Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文参考訳（メタデータ） (2022-08-11T22:27:22Z)
AdaLoss: A computationally-efficient and provably convergent adaptive gradient method [7.856998585396422]
本稿では,損失関数の情報を用いて数値的な調整を行う,計算に親しみやすい学習スケジュール"AnomidaLoss"を提案する。テキストおよび制御問題に対するLSTMモデルの適用による数値実験の範囲の検証を行う。
論文参考訳（メタデータ） (2021-09-17T01:45:25Z)
DISCO Verification: Division of Input Space into COnvex polytopes for neural network verification [0.0]
現代のニューラルネットワークの印象的な結果の一部は、その非線形な振る舞いによるものだ。本稿では,複数の線形部分問題に分割することで検証問題を単純化する手法を提案する。また,訓練中の線形領域数を減らすことを目的とした手法の効果について述べる。
論文参考訳（メタデータ） (2021-05-17T12:40:51Z)
Scaling the Convex Barrier with Sparse Dual Algorithms [141.4085318878354]
本稿では,ニューラルネットワークバウンダリングのための2つの新しい2重アルゴリズムを提案する。どちらの方法も新しい緩和の強さを回復する: 厳密さと線形分離オラクル。実行時間のほんの一部で、既製のソルバよりも優れた境界を得ることができます。
論文参考訳（メタデータ） (2021-01-14T19:45:17Z)
Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
論文参考訳（メタデータ） (2020-11-05T14:57:16Z)
DL-Reg: A Deep Learning Regularization Technique using Linear Regression [4.1359299555083595]
本稿では,DL-Regと呼ばれる新しいディープラーニング正規化手法を提案する。ネットワークをできるだけ線形に振る舞うように明示的に強制することで、ディープネットワークの非線形性をある程度まで慎重に減少させる。 DL-Regの性能は、いくつかのベンチマークデータセット上で最先端のディープネットワークモデルをトレーニングすることで評価される。
論文参考訳（メタデータ） (2020-10-31T21:53:24Z)
Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
論文参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。