論文の概要: Global Convergence Rate of Deep Equilibrium Models with General Activations

• arxiv url: http://arxiv.org/abs/2302.05797v2
• Date: Sat, 23 Sep 2023 13:25:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 04:03:12.481966
• Title: Global Convergence Rate of Deep Equilibrium Models with General Activations
• Title（参考訳）: 一般活性化を伴う深部平衡モデルの大域収束速度
• Authors: Lan V. Truong
• Abstract要約: 本稿では、第一導関数と第二導関数に有界な一般活性化を持つDECに対して、この事実が依然として成り立つことを示す。 我々は新しい集団グラム行列を作成し、Hermite展開を伴う新しい双対活性化形式を開発する必要がある。
• 参考スコア（独自算出の注目度）: 18.601449856300984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a recent paper, Ling et al. investigated the over-parametrized Deep Equilibrium Model (DEQ) with ReLU activation. They proved that the gradient descent converges to a globally optimal solution at a linear convergence rate for the quadratic loss function. This paper shows that this fact still holds for DEQs with any general activation that has bounded first and second derivatives. Since the new activation function is generally non-linear, bounding the least eigenvalue of the Gram matrix of the equilibrium point is particularly challenging. To accomplish this task, we need to create a novel population Gram matrix and develop a new form of dual activation with Hermite polynomial expansion.
• Abstract（参考訳）: lingらは最近の論文で、reluアクティベーションを伴う超パラメータ深層平衡モデル(deq)を調査した。 彼らは勾配降下が二次損失関数の線形収束率でグローバルに最適解に収束することを示した。 本稿は、この事実が第一導関数と第二導関数に有界な任意の一般活性化を持つDEQに対して依然として成り立つことを示す。 新しい活性化関数は一般に非線形であるため、平衡点のグラム行列の最小固有値の境界は特に困難である。 この課題を達成するには、新しい人口グラム行列を作成し、エルマイト多項式展開による新しい2重活性化形式を開発する必要がある。

関連論文リスト

• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-27T08:00:13Z)
• Reduced density matrix functional theory from an ab initio seniority-zero wave function: Exact and approximate formulations along adiabatic connection paths [0.0]
  還元密度行列汎関数論(RDMFT)の別の定式化を提案する。 正確な自然軌道とその占有度は、有効年数ゼロの計算から自己整合的に決定される。 この情報は、高感度密度行列関数近似の将来の設計のガイドとなることが期待されている。
  論文  参考訳（メタデータ） (2022-04-01T21:27:25Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• Optimization Induced Equilibrium Networks [76.05825996887573]
  暗黙の方程式によって定義されるディープニューラルネットワーク(DNN)のような暗黙の平衡モデルは最近ますます魅力的になりつつある。 我々は,パラメータが少ない場合でも,OptEqが従来の暗黙的モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-27T15:17:41Z)
• Global Convergence of Second-order Dynamics in Two-layer Neural Networks [10.415177082023389]
  近年の研究では, 2層完全連結ニューラルネットワークの場合, 勾配流は無限幅限界において大域的最適に収束することが示されている。 重球法では正の解が得られた。 我々の結果は平均場限界で機能するが、数値シミュレーションにより、大域収束は、合理的に小さなネットワークで既に発生している可能性が示唆されている。
  論文  参考訳（メタデータ） (2020-07-14T07:01:57Z)
• Competitive Mirror Descent [67.31015611281225]
  制約のある競合最適化には、制約の対象となる競合する目的を最小化しようとする複数のエージェントが含まれる。 本稿では, 競合ミラー降下法(CMD)を提案する。 特別の場合として、正の円錐上の問題に対する新しい競合乗法重みアルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-06-17T22:11:35Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。