Fugu-MT 論文翻訳(概要): Deep Linear Networks for Matrix Completion -- An Infinite Depth Limit

論文の概要: Deep Linear Networks for Matrix Completion -- An Infinite Depth Limit

arxiv url: http://arxiv.org/abs/2210.12497v1
Date: Sat, 22 Oct 2022 17:03:10 GMT
ステータス: 処理完了
システム内更新日: 2022-10-25 21:37:37.686945
Title: Deep Linear Networks for Matrix Completion -- An Infinite Depth Limit
Title（参考訳）: 行列補完のための深い線形ネットワーク-無限深さ限界
Authors: Nadav Cohen, Govind Menon, Zsolt Veraszto
Abstract要約: 深層線形ネットワーク (DLN) は、過度にパラメータ化された学習アーキテクチャの勾配に基づく最適化における暗黙の正規化のためのモデルである。厳密な解析と数値による行列完成のための幾何幾何学とトレーニングの関連について検討する。暗黙の正則化は高状態空間体積に対する偏りの結果である。
参考スコア（独自算出の注目度）: 10.64241024049424
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The deep linear network (DLN) is a model for implicit regularization in gradient based optimization of overparametrized learning architectures. Training the DLN corresponds to a Riemannian gradient flow, where the Riemannian metric is defined by the architecture of the network and the loss function is defined by the learning task. We extend this geometric framework, obtaining explicit expressions for the volume form, including the case when the network has infinite depth. We investigate the link between the Riemannian geometry and the training asymptotics for matrix completion with rigorous analysis and numerics. We propose that implicit regularization is a result of bias towards high state space volume.
Abstract（参考訳）: ディープリニアネットワーク(dln)は、過パラメータ学習アーキテクチャの勾配に基づく最適化における暗黙の正則化のモデルである。 DLNのトレーニングはリーマン勾配の流れに対応し、リーマン計量はネットワークのアーキテクチャによって定義され、損失関数は学習タスクによって定義される。この幾何学的枠組みを拡張し、ネットワークが無限の深さを持つ場合を含め、体積形式の明示的な表現を得る。厳密な解析と数値による行列完備化のためのリーマン幾何学とトレーニング漸近の関連について検討する。暗黙的正則化は高状態空間体積に対するバイアスの結果である。

関連論文リスト

Understanding the training of infinitely deep and wide ResNets with Conditional Optimal Transport [26.47265060394168]
深部ニューラルネットワークの勾配流は遠距離で任意に収束することを示す。これは空間における有限幅の勾配距離の理論に依存する。
論文参考訳（メタデータ） (2024-03-19T16:34:31Z)
Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Approximation Results for Gradient Descent trained Neural Networks [0.0]
ネットワークは完全に接続された一定の深さ増加幅である。連続カーネルエラーノルムは、滑らかな関数に必要な自然な滑らかさの仮定の下での近似を意味する。
論文参考訳（メタデータ） (2023-09-09T18:47:55Z)
Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
論文参考訳（メタデータ） (2023-03-26T18:31:52Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
A Dynamics Theory of Implicit Regularization in Deep Low-Rank Matrix Factorization [21.64166573203593]
暗黙の正則化は、ニューラルネットワークを解釈する重要な方法である。最近の理論は、深い行列分解(DMF)モデルで暗黙の正則化を説明するようになった。
論文参考訳（メタデータ） (2022-12-29T02:11:19Z)
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks [7.090165638014331]
一定の層幅とスムーズな活性化関数を持つ深層残留ネットワークのトレーニングにおいて,勾配勾配の線形収束性を大域最小限に証明する。トレーニングされた重みは、層指数の関数として、ネットワークの深さが無限大になる傾向にあるため、H"古い"スケーリング制限が連続であることを示す。
論文参考訳（メタデータ） (2022-04-14T22:50:28Z)
Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
論文参考訳（メタデータ） (2022-01-28T07:31:19Z)
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文参考訳（メタデータ） (2021-10-18T18:00:36Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。