Fugu-MT 論文翻訳(概要): An Elementary Approach to Convergence Guarantees of Optimization Algorithms for Deep Networks

論文の概要: An Elementary Approach to Convergence Guarantees of Optimization Algorithms for Deep Networks

arxiv url: http://arxiv.org/abs/2002.09051v2
Date: Wed, 30 Dec 2020 02:47:52 GMT
ステータス: 処理完了
システム内更新日: 2022-12-30 07:07:57.102040
Title: An Elementary Approach to Convergence Guarantees of Optimization Algorithms for Deep Networks
Title（参考訳）: ディープネットワーク最適化アルゴリズムの収束保証に関する基礎的アプローチ
Authors: Vincent Roulet and Zaid Harchaoui
Abstract要約: 本稿では,オラクルの基本的な議論と計算に基づいて,ディープ・ネットワークに対する最適化アルゴリズムの収束保証を得る手法を提案する。本研究では、ディープネットワークのトレーニングに使用される一階最適化アルゴリズムの収束挙動を制御した滑らか度定数の推定値を計算する体系的な方法を提案する。
参考スコア（独自算出の注目度）: 2.715884199292287
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present an approach to obtain convergence guarantees of optimization algorithms for deep networks based on elementary arguments and computations. The convergence analysis revolves around the analytical and computational structures of optimization oracles central to the implementation of deep networks in machine learning software. We provide a systematic way to compute estimates of the smoothness constants that govern the convergence behavior of first-order optimization algorithms used to train deep networks. A diverse set of example components and architectures arising in modern deep networks intersperse the exposition to illustrate the approach.
Abstract（参考訳）: 本稿では,基本引数と計算に基づく深層ネットワークの最適化アルゴリズムの収束保証を得るための手法を提案する。収束解析は、機械学習ソフトウェアにおけるディープネットワークの実装の中心となる最適化オラクルの分析構造と計算構造を中心に展開される。深層ネットワークの学習に使用される一階最適化アルゴリズムの収束挙動を制御する滑らかさ定数の推定を体系的に計算する方法を提案する。現代のディープネットワークで発生する多様なサンプルコンポーネントとアーキテクチャは、そのアプローチを説明するために展示物にまたがる。

関連論文リスト

Component-based Sketching for Deep ReLU Nets [55.404661149594375]
各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
論文参考訳（メタデータ） (2024-09-21T15:30:43Z)
Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks [57.24087627267086]
通信ネットワークのノード間で分散的に格納された凸関数の総和を最小化するタスクについて検討する。この問題を解決するのに必要な分散通信数と(サブ)漸進計算の下位境界が確立されている。我々は,これらの下界に適合する最初の最適アルゴリズムを開発し,既存の最先端技術と比較して理論性能を著しく向上させる。
論文参考訳（メタデータ） (2024-05-28T10:28:45Z)
Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks [0.0]
超高次元最適化を行うアルゴリズムを提案する。ディープ・ジェネレーティブ・ネットワークをベースとしています提案手法は, 最先端のアルゴリズムと比較して, 機能評価が少なく, 性能がよいことを示す。
論文参考訳（メタデータ） (2023-07-09T00:05:59Z)
Optimisation & Generalisation in Networks of Neurons [8.078758339149822]
この論文の目的は、人工ニューラルネットワークにおける学習の最適化と一般化理論の基礎を開発することである。アーキテクチャに依存した一階最適化アルゴリズムを導出するための新しい理論的枠組みを提案する。ネットワークと個々のネットワークのアンサンブルの間には,新たな対応関係が提案されている。
論文参考訳（メタデータ） (2022-10-18T18:58:40Z)
On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文参考訳（メタデータ） (2022-06-30T05:29:52Z)
Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文参考訳（メタデータ） (2022-05-03T07:54:56Z)
DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文参考訳（メタデータ） (2021-10-04T03:17:41Z)
Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
論文参考訳（メタデータ） (2020-09-05T21:44:39Z)
Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文参考訳（メタデータ） (2020-06-15T02:57:57Z)
Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。