Fugu-MT 論文翻訳(概要): Global Convergence Rate of Deep Equilibrium Models with General Activations

論文の概要: Global Convergence Rate of Deep Equilibrium Models with General Activations

arxiv url: http://arxiv.org/abs/2302.05797v1
Date: Sat, 11 Feb 2023 22:18:26 GMT
ステータス: 処理完了
システム内更新日: 2023-02-14 18:34:50.149024
Title: Global Convergence Rate of Deep Equilibrium Models with General Activations
Title（参考訳）: 一般活性化を伴う深部平衡モデルの大域収束速度
Authors: Lan V. Truong
Abstract要約: この事実は、一階微分と二階微分に有界な任意の一般活性化を持つ DEQ に対して依然として成り立つことを示す。新しい活性化関数は一般に非線形であるため、Hermite展開を伴う2重活性化の新しい形式が開発されている。
参考スコア（独自算出の注目度）: 16.3460693863947
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In a recent paper, Ling et al. investigated the over-parametrized Deep Equilibrium Model (DEQ) with ReLU activation and proved that the gradient descent converges to a globally optimal solution at a linear convergence rate for the quadratic loss function. In this paper, we show that this fact still holds for DEQs with any general activation which has bounded first and second derivatives. Since the new activation function is generally non-linear, a general population Gram matrix is designed, and a new form of dual activation with Hermite polynomial expansion is developed.
Abstract（参考訳）: 最近の論文では、LingらはReLU活性化による過度パラメータ化されたDeep Equilibrium Model (DEQ)を調査し、勾配勾配が二次損失関数の線形収束速度で大域最適解に収束することを証明した。本稿では、第一導関数と第二導関数を持つ任意の一般活性化を持つdeqsに対して、この事実が依然として成り立つことを示す。新しいアクティベーション関数は一般に非線形であるため、一般人口グラム行列を設計し、エルミート多項式展開による2重アクティベーションの新しい形式を開発する。

関連論文リスト

Convergence of Kinetic Langevin Monte Carlo on Lie groups [21.76159063788814]
結果の速度論的ラウンジビン型サンプリングダイナミクスを微妙に識別し,Lie群MCMCサンプリング器を提案する。これは、曲線空間上での動力学ランゲヴィンの初めての収束結果であり、凸性を必要としない、あるいは少なくとも明示的には、イソペリメトリのような一般的な緩和を必要としない最初の定量的結果である。
論文参考訳（メタデータ） (2024-03-18T17:50:20Z)
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文参考訳（メタデータ） (2023-06-22T23:14:57Z)
Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
論文参考訳（メタデータ） (2022-05-27T08:00:13Z)
Reduced density matrix functional theory from an ab initio seniority-zero wave function: Exact and approximate formulations along adiabatic connection paths [0.0]
還元密度行列汎関数論(RDMFT)の別の定式化を提案する。正確な自然軌道とその占有度は、有効年数ゼロの計算から自己整合的に決定される。この情報は、高感度密度行列関数近似の将来の設計のガイドとなることが期待されている。
論文参考訳（メタデータ） (2022-04-01T21:27:25Z)
Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
一次元回帰問題に対する連続領域定式化を提案する。リプシッツ定数をユーザ定義上界を用いて明示的に制御する。いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
論文参考訳（メタデータ） (2021-12-27T07:03:43Z)
Optimization Induced Equilibrium Networks [76.05825996887573]
暗黙の方程式によって定義されるディープニューラルネットワーク(DNN)のような暗黙の平衡モデルは最近ますます魅力的になりつつある。我々は,パラメータが少ない場合でも,OptEqが従来の暗黙的モデルより優れていることを示す。
論文参考訳（メタデータ） (2021-05-27T15:17:41Z)
A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
論文参考訳（メタデータ） (2020-08-21T18:00:50Z)
Global Convergence of Second-order Dynamics in Two-layer Neural Networks [10.415177082023389]
近年の研究では, 2層完全連結ニューラルネットワークの場合, 勾配流は無限幅限界において大域的最適に収束することが示されている。重球法では正の解が得られた。我々の結果は平均場限界で機能するが、数値シミュレーションにより、大域収束は、合理的に小さなネットワークで既に発生している可能性が示唆されている。
論文参考訳（メタデータ） (2020-07-14T07:01:57Z)
Competitive Mirror Descent [67.31015611281225]
制約のある競合最適化には、制約の対象となる競合する目的を最小化しようとする複数のエージェントが含まれる。本稿では, 競合ミラー降下法(CMD)を提案する。特別の場合として、正の円錐上の問題に対する新しい競合乗法重みアルゴリズムを得る。
論文参考訳（メタデータ） (2020-06-17T22:11:35Z)
Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。