Fugu-MT 論文翻訳(概要): MinMax Networks

論文の概要: MinMax Networks

arxiv url: http://arxiv.org/abs/2306.09253v1
Date: Thu, 15 Jun 2023 16:30:33 GMT
ステータス: 処理完了
システム内更新日: 2023-06-16 13:58:06.125299
Title: MinMax Networks
Title（参考訳）: MinMaxネットワーク
Authors: Winfried Lohmiller, Philipp Gassert, Jean-Jacques Slotine
Abstract要約: 本稿では,連続的な分数次線形関数に対する離散的なMinMax学習手法について述べる。制約付き片次線形関数学習の収束速度は、各局所線型領域の指数収束率と等価であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While much progress has been achieved over the last decades in neuro-inspired machine learning, there are still fundamental theoretical problems in gradient-based learning using combinations of neurons. These problems, such as saddle points and suboptimal plateaus of the cost function, can lead in theory and practice to failures of learning. In addition, the discrete step size selection of the gradient is problematic since too large steps can lead to instability and too small steps slow down the learning. This paper describes an alternative discrete MinMax learning approach for continuous piece-wise linear functions. Global exponential convergence of the algorithm is established using Contraction Theory with Inequality Constraints, which is extended from the continuous to the discrete case in this paper: The parametrization of each linear function piece is, in contrast to deep learning, linear in the proposed MinMax network. This allows a linear regression stability proof as long as measurements do not transit from one linear region to its neighbouring linear region. The step size of the discrete gradient descent is Lagrangian limited orthogonal to the edge of two neighbouring linear functions. It will be shown that this Lagrangian step limitation does not decrease the convergence of the unconstrained system dynamics in contrast to a step size limitation in the direction of the gradient. We show that the convergence rate of a constrained piece-wise linear function learning is equivalent to the exponential convergence rates of the individual local linear regions.
Abstract（参考訳）: 神経インスパイアされた機械学習では、多くの進歩が過去数十年にわたって達成されてきたが、ニューロンの組み合わせを用いた勾配ベースの学習には基本的な理論的問題がある。これらの問題、例えばsaddle point やsuboptimal plateaus of the cost functionは、理論と実践を学習の失敗に導く可能性がある。さらに、大きなステップが不安定になり、小さなステップが学習を遅くする可能性があるため、勾配の離散的なステップサイズ選択が問題となる。本稿では,連続区間線形関数に対する離散的minmax学習手法について述べる。アルゴリズムのグローバル指数収束は、連続から離散的なケースへ拡張される不等式制約付き契約理論を用いて確立される: 各線形関数のパラメトリゼーションは、深層学習とは対照的に、提案されたMinMaxネットワークにおいて線形である。これにより、測定値が1つの線形領域から隣り合う線形領域に遷移しない限り、線形回帰安定性証明が可能になる。離散勾配勾配のステップサイズは、隣接する2つの線型関数の辺に直交するラグランジアン制限である。このラグランジアンステップ制限は、勾配方向のステップサイズ制限とは対照的に、拘束されていない系のダイナミクスの収束を減少させるものではないことが示される。制約付き片次線形関数学習の収束速度は、各局所線型領域の指数収束率と等価であることを示す。

関連論文リスト

Gradient descent with adaptive stepsize converges (nearly) linearly under fourth-order growth [12.452887246184318]
適応的な段差のある勾配降下は、任意の滑らかな関数に対して局所(ほぼ)線形速度で収束することを示す。私たちが提案する適応的な段階化は、興味深い分解定理から生じる。
論文参考訳（メタデータ） (2024-09-29T21:27:00Z)
On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文参考訳（メタデータ） (2024-02-20T16:01:42Z)
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文参考訳（メタデータ） (2023-05-28T06:33:37Z)
Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文参考訳（メタデータ） (2022-06-08T21:32:50Z)
Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文参考訳（メタデータ） (2021-10-24T08:57:46Z)
A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning [9.204659134755795]
深層強化学習のための線形プログラミング(LP)の定式化について検討する。拡張ラグランジアン法は、LPの解法において二重サンプリング障害に悩まされる。深層パラメタライズされたラグランジアン法を提案する。
論文参考訳（メタデータ） (2021-05-20T13:08:06Z)
Infinitesimal gradient boosting [0.0]
我々は、機械学習から人気のツリーベース勾配向上アルゴリズムの限界として無限小勾配ブースティングを定義する。完全無作為化木とエクストラツリーを繋ぐ新種の無作為化回帰木を紹介します。
論文参考訳（メタデータ） (2021-04-26T15:09:05Z)
Limiting Behaviors of Nonconvex-Nonconcave Minimax Optimization via Continuous-Time Systems [10.112779201155005]
3つの古典的ミニマックスアルゴリズム(AGDA, AscentGDA, Exgradient Method, EGM)の制限挙動について検討する。本稿では,GAN(Generative Adrial Networks)において,全ての制限行動が発生しうることを数値的に観察し,様々なGAN問題に対して容易に実演できることを示す。
論文参考訳（メタデータ） (2020-10-20T21:14:51Z)
Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文参考訳（メタデータ） (2020-07-07T21:26:35Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Linear Regression without Correspondences via Concave Minimization [24.823689223437917]
信号は、対応のない線形回帰設定で復元される。関連する最大可能性関数は、信号が1より大きい次元を持つとき、NPハードで計算する。我々はこれを凹凸最小化問題として再定義し、分岐とバウンドによって解決する。結果として得られたアルゴリズムは、完全にシャッフルされたデータに対して最先端の手法より優れており、最大8ドルの信号で抽出可能である。
論文参考訳（メタデータ） (2020-03-17T13:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。