Fugu-MT 論文翻訳(概要): Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks

論文の概要: Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks

arxiv url: http://arxiv.org/abs/2502.11152v2
Date: Tue, 18 Feb 2025 04:13:36 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-19 10:42:20.169024
Title: Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks
Title（参考訳）: ディープ線形ニューラルネットワークの正規化損失の誤差境界解析
Authors: Po Chen, Rujun Jiang, Peng Wang,
Abstract要約: 深部線形ネットワークの正則化二乗損失の局所的幾何学的景観を特徴付ける。エラーホールドの下の十分かつ必要な条件を特定します。本研究では,線形ネットワークの正規化損失に対して勾配が線形収束を示すことを示す数値実験を行った。
参考スコア（独自算出の注目度）: 4.6485895241404585
License:
Abstract: The optimization foundations of deep linear networks have received significant attention lately. However, due to the non-convexity and hierarchical structure, analyzing the regularized loss of deep linear networks remains a challenging task. In this work, we study the local geometric landscape of the regularized squared loss of deep linear networks, providing a deeper understanding of its optimization properties. Specifically, we characterize the critical point set and establish an error-bound property for all critical points under mild conditions. Notably, we identify the sufficient and necessary conditions under which the error bound holds. To support our theoretical findings, we conduct numerical experiments demonstrating that gradient descent exhibits linear convergence when optimizing the regularized loss of deep linear networks.
Abstract（参考訳）: 近年,深い線形ネットワークの最適化基盤が注目されている。しかし、非凸構造と階層構造のため、深い線形ネットワークの正規化損失を分析することは難しい課題である。本研究では,線形ネットワークの正則化2乗損失の局所的な幾何学的景観について検討し,その最適化特性についてより深く理解する。具体的には、臨界点集合を特徴づけ、穏やかな条件下で全ての臨界点に対して誤差バウンド特性を確立する。特に、エラー境界が保持する十分かつ必要な条件を特定する。線形ネットワークの正規化損失を最適化する場合,勾配勾配が線形収束を示すことを示す数値実験を行った。

関連論文リスト

Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
論文参考訳（メタデータ） (2023-11-24T18:46:54Z)
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文参考訳（メタデータ） (2023-06-22T23:14:57Z)
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks [7.090165638014331]
一定の層幅とスムーズな活性化関数を持つ深層残留ネットワークのトレーニングにおいて,勾配勾配の線形収束性を大域最小限に証明する。トレーニングされた重みは、層指数の関数として、ネットワークの深さが無限大になる傾向にあるため、H"古い"スケーリング制限が連続であることを示す。
論文参考訳（メタデータ） (2022-04-14T22:50:28Z)
Singular Value Perturbation and Deep Network Optimization [29.204852309828006]
我々は,行列摂動に関する新たな理論的結果を開発し,アーキテクチャが深層ネットワークの性能に与える影響について光を当てる。特に,ディープラーニング実践者が長年経験してきたことを説明する。深層アーキテクチャのパラメータは,他よりも容易に最適化できる。摂動結果の直接的な応用は、ResNetがConvNetよりも簡単に最適化できる理由を解析的に説明します。
論文参考訳（メタデータ） (2022-03-07T02:09:39Z)
Global Convergence Analysis of Deep Linear Networks with A One-neuron Layer [18.06634056613645]
2次損失下で1つのニューロンを持つ層を有するディープ線形ネットワークを最適化することを検討する。流下における任意の出発点を持つ軌道の収束点を記述する。我々は,大域勾配器に段階的に収束する軌道の収束率を示す。
論文参考訳（メタデータ） (2022-01-08T04:44:59Z)
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文参考訳（メタデータ） (2021-10-18T18:00:36Z)
Directional convergence and alignment in deep learning [38.73942298289583]
交差エントロピーと関連する分類損失の最小化は無限大であるが, ネットワーク重みは勾配流により方向収束することを示した。この証明は、ReLU、最大プール、線形および畳み込み層を許容する深い均質ネットワークに対して成り立つ。
論文参考訳（メタデータ） (2020-06-11T17:50:11Z)
Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文参考訳（メタデータ） (2020-02-25T23:05:33Z)
Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs [115.35745188028169]
条件付け解析を深層ニューラルネットワーク(DNN)に拡張し,その学習力学を解明する。バッチ正規化(BN)はトレーニングを安定させるが、時には局所的な最小値の誤った印象を与える。我々はBNが最適化問題の階層的条件付けを改善することを実験的に観察した。
論文参考訳（メタデータ） (2020-02-25T11:40:27Z)
Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。