論文の概要: Diagonal Linear Networks and the Lasso Regularization Path

• arxiv url: http://arxiv.org/abs/2509.18766v1
• Date: Tue, 23 Sep 2025 07:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.763995
• Title: Diagonal Linear Networks and the Lasso Regularization Path
• Title（参考訳）: 対角線形ネットワークとラッソ正規化経路
• Authors: Raphaël Berthier,
• Abstract要約: 対角線ネットワークの完全なトレーニング軌跡は,ラッソ正規化経路と密接に関連していることを示す。 ラッソ正規化経路上の単調性仮定の下では、接続は正確であるが、一般の場合、近似接続を示す。
• 参考スコア（独自算出の注目度）: 8.426855646402238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diagonal linear networks are neural networks with linear activation and diagonal weight matrices. Their theoretical interest is that their implicit regularization can be rigorously analyzed: from a small initialization, the training of diagonal linear networks converges to the linear predictor with minimal 1-norm among minimizers of the training loss. In this paper, we deepen this analysis showing that the full training trajectory of diagonal linear networks is closely related to the lasso regularization path. In this connection, the training time plays the role of an inverse regularization parameter. Both rigorous results and simulations are provided to illustrate this conclusion. Under a monotonicity assumption on the lasso regularization path, the connection is exact while in the general case, we show an approximate connection.
• Abstract（参考訳）: 対角線ネットワークは、線形活性化と対角線の重み行列を持つニューラルネットワークである。 小さな初期化から、対角線ネットワークのトレーニングは、訓練損失の最小限の1ノルムで線形予測器に収束する。 本稿では, 対角線ネットワークの全トレーニング軌道がラッソ正規化経路と密接に関連していることを示す。 この接続では、トレーニング時間が逆正則化パラメータの役割を担う。 この結論を説明するために厳密な結果とシミュレーションが提供される。 ラッソ正規化経路上の単調性仮定の下では、接続は正確であるが、一般の場合、近似接続を示す。

関連論文リスト

• Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks [8.46000784973359]
  本研究では,深部線形ネットワークの正則化二乗損失の局所的幾何学的景観について検討する。 ネットワーク幅と正規化パラメータの緩やかな条件下での正規化損失に対する誤差を確定する。 理論的な結果を支持するため,数値実験を行い,勾配勾配が臨界点に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2025-02-16T14:53:52Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
  線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。 非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。 我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
  論文  参考訳（メタデータ） (2022-01-28T07:31:19Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• DISCO Verification: Division of Input Space into COnvex polytopes for neural network verification [0.0]
  現代のニューラルネットワークの印象的な結果の一部は、その非線形な振る舞いによるものだ。 本稿では,複数の線形部分問題に分割することで検証問題を単純化する手法を提案する。 また,訓練中の線形領域数を減らすことを目的とした手法の効果について述べる。
  論文  参考訳（メタデータ） (2021-05-17T12:40:51Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
  線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。 本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
  論文  参考訳（メタデータ） (2020-10-06T06:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。