Fugu-MT 論文翻訳(概要): Convergence Rates of Training Deep Neural Networks via Alternating Minimization Methods

論文の概要: Convergence Rates of Training Deep Neural Networks via Alternating Minimization Methods

arxiv url: http://arxiv.org/abs/2208.14318v1
Date: Tue, 30 Aug 2022 14:58:44 GMT
ステータス: 処理完了
システム内更新日: 2022-08-31 13:45:13.490276
Title: Convergence Rates of Training Deep Neural Networks via Alternating Minimization Methods
Title（参考訳）: 交互最小化法による深層ニューラルネットワーク訓練の収束速度
Authors: Jintao Xu, Chenglong Bao, Wenxun Xing
Abstract要約: 本稿では,ディープニューラルネットワークの収束速度を解析するための統一的なフレームワークを提案する。 KL 指数 $theta$ が $[0,theta$] で異なる場合、局所収束の詳細を示す。
参考スコア（独自算出の注目度）: 6.425552131743896
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training deep neural networks (DNNs) is an important and challenging optimization problem in machine learning due to its non-convexity and non-separable structure. The alternating minimization (AM) approaches split the composition structure of DNNs and have drawn great interest in the deep learning and optimization communities. In this paper, we propose a unified framework for analyzing the convergence rate of AM-type network training methods. Our analysis are based on the $j$-step sufficient decrease conditions and the Kurdyka-Lojasiewicz (KL) property, which relaxes the requirement of designing descent algorithms. We show the detailed local convergence rate if the KL exponent $\theta$ varies in $[0,1)$. Moreover, the local R-linear convergence is discussed under a stronger $j$-step sufficient decrease condition.
Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のトレーニングは、非凸性と非分離構造のため、機械学習において重要かつ困難な最適化問題である。交代最小化(AM)アプローチはDNNの構成構造を分割し、ディープラーニングと最適化コミュニティに大きな関心を寄せている。本稿では,AM型ネットワークトレーニング手法の収束率を解析するための統合フレームワークを提案する。本解析は,降下アルゴリズムの設計要件を緩和するクルディカ・ロジャシェヴィチ(kl)特性と,j$-step 十分減少条件に基づく。 KL指数 $\theta$ が $[0,1)$ で異なる場合、詳細な局所収束率を示す。さらに、局所 r-線型収束はより強固な$j$-step 十分減少条件下で議論される。

関連論文リスト

Neural Network with Local Converging Input (NNLCI) for Supersonic Flow Problems with Unstructured Grids [0.9152133607343995]
非構造データを用いた高忠実度予測のための局所収束入力(NNLCI)を用いたニューラルネットワークを開発した。また, NNLCI法を用いて, バンプを有するチャネル内の超音速流の可視化を行った。
論文参考訳（メタデータ） (2023-10-23T19:03:37Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Finite-Sum Optimization: A New Perspective for Convergence to a Global Solution [22.016345507132808]
ディープニューラルネットワーク(DNN)は多くの機械学習タスクで大きな成功を収めている。彼らのトレーニングは、一般的に損失面は滑らかではないか、あるいは束縛されているため、難しい。本稿では,$varepsilon$-(global)最小値への収束を最小化できるアルゴリズムフレームワークを提案する。
論文参考訳（メタデータ） (2022-02-07T21:23:16Z)
Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
論文参考訳（メタデータ） (2021-06-11T00:34:55Z)
Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文参考訳（メタデータ） (2021-05-26T18:07:19Z)
Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
論文参考訳（メタデータ） (2021-04-04T07:52:34Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文参考訳（メタデータ） (2020-06-10T15:38:30Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。