Fugu-MT 論文翻訳(概要): Recent Advances in Non-convex Smoothness Conditions and Applicability to Deep Linear Neural Networks

論文の概要: Recent Advances in Non-convex Smoothness Conditions and Applicability to Deep Linear Neural Networks

arxiv url: http://arxiv.org/abs/2409.13672v1
Date: Fri, 20 Sep 2024 17:26:47 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 06:08:43.864240
Title: Recent Advances in Non-convex Smoothness Conditions and Applicability to Deep Linear Neural Networks
Title（参考訳）: 非凸平滑化条件の最近の進歩とディープ線形ニューラルネットワークへの適用性
Authors: Vivak Patel, Christian Varner,
Abstract要約: 本稿では,二項分類のためのネットワーク内で発生する滑らかさ条件について論じる。我々は、それらが保持されているかどうかを判断し、二項分類のためのディープネットワークへの適用性を評価する条件を提供する。
参考スコア（独自算出の注目度）: 1.534667887016089
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The presence of non-convexity in smooth optimization problems arising from deep learning have sparked new smoothness conditions in the literature and corresponding convergence analyses. We discuss these smoothness conditions, order them, provide conditions for determining whether they hold, and evaluate their applicability to training a deep linear neural network for binary classification.
Abstract（参考訳）: ディープラーニングによるスムーズな最適化問題における非凸性の存在は、文学における新たなスムーズな条件とそれに対応する収束解析を引き起こした。我々はこれらの滑らかさ条件を議論し、それらを注文し、それらが保持されているかどうかを判断するための条件を提供し、二項分類のための深い線形ニューラルネットワークのトレーニングへの適用性を評価する。

関連論文リスト

Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文参考訳（メタデータ） (2024-08-17T02:22:08Z)
Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks [23.01933325606068]
既存の完全検証技術は、すべての堅牢性クエリに対して証明可能な保証を提供するが、小さなニューラルネットワークを超えてスケールするのに苦労する。本稿では,これらの線形近似の品質向上のためのパラメータ探索手法を提案する。具体的には、最先端のアルゴリズム構成手法によって与えられた検証問題に慎重に適応する単純な探索手法を用いることで、最先端技術よりも平均で25%のグローバルローバウンドを向上することを示す。
論文参考訳（メタデータ） (2024-06-14T16:16:26Z)
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks [12.763567932588591]
ニューラルネットワークのトレーニングにおける勾配勾配勾配の収束に関する現状分析は、損失景観の特性を特徴づけることに重点を置いている。我々は、パラメータのサブセットだけが強い凸性を満たす新しい目的関数のクラスを考え、理論においてネステロフの運動量加速度を示す。我々は、問題クラスの2つの実現法を提供し、そのうちの1つはディープ ReLU ネットワークであり、これは、私たちの知識を最大限に活用するために、非自明なニューラルネットワークアーキテクチャに対する加速収束率を証明する最初の方法である。
論文参考訳（メタデータ） (2023-06-13T19:55:46Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization [59.038366742773164]
ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
論文参考訳（メタデータ） (2023-03-02T18:24:26Z)
Gradient Descent on Infinitely Wide Neural Networks: Global Convergence and Generalization [0.0]
多くの教師付き機械学習手法が最適化問題として採用されている。パラメータに線形な予測モデルの場合、これはしばしば予測保証の問題を引き起こす。本稿では,同種活性化機能を持つ2層ニューラルネットワークについて考察する。
論文参考訳（メタデータ） (2021-10-15T13:25:32Z)
Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文参考訳（メタデータ） (2021-02-23T18:17:47Z)
Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文参考訳（メタデータ） (2020-10-31T21:35:42Z)
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文参考訳（メタデータ） (2020-06-10T15:38:30Z)
Stable Neural Flows [15.318500611972441]
ニューラルネットワークによってパラメータ化されたエネルギー汎関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。
論文参考訳（メタデータ） (2020-03-18T06:27:21Z)
Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs [115.35745188028169]
条件付け解析を深層ニューラルネットワーク(DNN)に拡張し,その学習力学を解明する。バッチ正規化(BN)はトレーニングを安定させるが、時には局所的な最小値の誤った印象を与える。我々はBNが最適化問題の階層的条件付けを改善することを実験的に観察した。
論文参考訳（メタデータ） (2020-02-25T11:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。