論文の概要: Global Convergence of Over-parameterized Deep Equilibrium Models

• arxiv url: http://arxiv.org/abs/2205.13814v2
• Date: Wed, 29 Mar 2023 03:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 19:12:08.557849
• Title: Global Convergence of Over-parameterized Deep Equilibrium Models
• Title（参考訳）: 過パラメータ深層平衡モデルの大域収束
• Authors: Zenan Ling, Xingyu Xie, Qiuhao Wang, Zongpeng Zhang, Zhouchen Lin
• Abstract要約: ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 52.65330015267245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A deep equilibrium model (DEQ) is implicitly defined through an equilibrium point of an infinite-depth weight-tied model with an input-injection. Instead of infinite computations, it solves an equilibrium point directly with root-finding and computes gradients with implicit differentiation. The training dynamics of over-parameterized DEQs are investigated in this study. By supposing a condition on the initial equilibrium point, we show that the unique equilibrium point always exists during the training process, and the gradient descent is proved to converge to a globally optimal solution at a linear convergence rate for the quadratic loss function. In order to show that the required initial condition is satisfied via mild over-parameterization, we perform a fine-grained analysis on random DEQs. We propose a novel probabilistic framework to overcome the technical difficulty in the non-asymptotic analysis of infinite-depth weight-tied models.
• Abstract（参考訳）: ディープ均衡モデル (DEQ) は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本研究では,過パラメータ化deqのトレーニングダイナミクスについて検討した。 初期平衡点の条件を仮定することにより,トレーニング過程中に一意な平衡点が常に存在し,勾配降下は二次損失関数の線形収束率でグローバルに最適解に収束することが証明された。 適度な過パラメータ化によって要求される初期条件が満たされることを示すために,ランダムなdeqのきめ細かな解析を行う。 無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Positive concave deep equilibrium models [7.148312060227714]
  ディープ平衡モデル(Deep equilibrium Model, DEQ)は、標準的なニューラルネットワークに代わるメモリ効率のモデルである。 正凹深部平衡モデル(pcDEQ)と呼ばれる新しいDECモデルを導入する。 非線形ペロン・フロベニウス理論に基づく我々のアプローチは、正のオーサント上に凹む非負の重みと活性化関数を強制する。
  論文  参考訳（メタデータ） (2024-02-06T14:24:29Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Physics-Informed Gaussian Process Regression Generalizes Linear PDE Solvers [32.57938108395521]
  線形偏微分方程式と呼ばれる力学モデルのクラスは、熱伝達、電磁気、波動伝播などの物理過程を記述するために用いられる。 離散化に基づく特殊数値法はPDEの解法として用いられる。 パラメータや測定の不確実性を無視することで、古典的なPDE解法は固有の近似誤差の一貫した推定を導出できない可能性がある。
  論文  参考訳（メタデータ） (2022-12-23T17:02:59Z)
• Physics-Informed Neural Network Method for Parabolic Differential Equations with Sharply Perturbed Initial Conditions [68.8204255655161]
  急激な摂動初期条件を持つパラボラ問題に対する物理インフォームドニューラルネットワーク(PINN)モデルを開発した。 ADE解の局所的な大きな勾配は(PINNでよく見られる)ラテンハイパーキューブで方程式の残余の高効率なサンプリングを行う。 本稿では,他の方法により選択した量よりも精度の高いPINNソリューションを生成する損失関数における重みの基準を提案する。
  論文  参考訳（メタデータ） (2022-08-18T05:00:24Z)
• Single Trajectory Nonparametric Learning of Nonlinear Dynamics [8.438421942654292]
  力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。 我々は最近開発された情報理論手法を活用し、非仮説クラスに対するLSEの最適性を確立する。 我々は、リプシッツ力学、一般化線形モデル、再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心のあるいくつかのシナリオを専門とする。
  論文  参考訳（メタデータ） (2022-02-16T19:38:54Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Optimization Induced Equilibrium Networks [76.05825996887573]
  暗黙の方程式によって定義されるディープニューラルネットワーク(DNN)のような暗黙の平衡モデルは最近ますます魅力的になりつつある。 我々は,パラメータが少ない場合でも,OptEqが従来の暗黙的モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-27T15:17:41Z)
• On the Theory of Implicit Deep Learning: Global Convergence with Implicit Layers [6.548580592686076]
  深い平衡モデルは、計算の平衡点列を通じて暗黙的に定義される暗黙的な数値列を用いる。 本研究では,深い暗黙のダイナミックスと浅い信頼層のダイナミックス法のダイナミックスの関係を実証する。
  論文  参考訳（メタデータ） (2021-02-15T05:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。