論文の概要: Optimization Induced Equilibrium Networks

• arxiv url: http://arxiv.org/abs/2105.13228v2
• Date: Mon, 31 May 2021 12:48:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 11:40:30.467913
• Title: Optimization Induced Equilibrium Networks
• Title（参考訳）: 最適化誘起平衡ネットワーク
• Authors: Xingyu Xie, Qiuhao Wang, Zenan Ling, Xia Li, Yisen Wang, Guangcan Liu, Zhouchen Lin
• Abstract要約: 暗黙の方程式によって定義されるディープニューラルネットワーク(DNN)のような暗黙の平衡モデルは最近ますます魅力的になりつつある。 我々は,パラメータが少ない場合でも,OptEqが従来の暗黙的モデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 76.05825996887573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit equilibrium models, i.e., deep neural networks (DNNs) defined by implicit equations, have been becoming more and more attractive recently. In this paper, we investigate an emerging question: can an implicit equilibrium model's equilibrium point be regarded as the solution of an optimization problem? To this end, we first decompose DNNs into a new class of unit layer that is the proximal operator of an implicit convex function while keeping its output unchanged. Then, the equilibrium model of the unit layer can be derived, named Optimization Induced Equilibrium Networks (OptEq), which can be easily extended to deep layers. The equilibrium point of OptEq can be theoretically connected to the solution of its corresponding convex optimization problem with explicit objectives. Based on this, we can flexibly introduce prior properties to the equilibrium points: 1) modifying the underlying convex problems explicitly so as to change the architectures of OptEq; and 2) merging the information into the fixed point iteration, which guarantees to choose the desired equilibrium point when the fixed point set is non-singleton. We show that deep OptEq outperforms previous implicit models even with fewer parameters. This work establishes the first step towards the optimization-guided design of deep models.
• Abstract（参考訳）: 暗黙の方程式によって定義されるディープニューラルネットワーク(DNN)のような暗黙の平衡モデルは最近ますます魅力的になりつつある。 本稿では,暗黙の平衡モデルの平衡点を最適化問題の解とみなすことができるのか,という問題について考察する。 この目的のために、まずDNNを暗黙の凸関数の近位演算子である新しい単位層に分解し、出力を一定に保つ。 次に、単位層の平衡モデルを導出し、最適化誘起平衡ネットワーク(OptEq)と名付け、深層に容易に拡張できる。 OptEq の平衡点は、その対応する凸最適化問題の解と明確な目的によって理論的に関連付けられる。 これに基づいて, 1) 基礎となる凸問題を, opteq のアーキテクチャを変更するために明示的に修正すること,2) 固定点反復に情報を統合することで,不動点集合が非特異な場合に所望の平衡点を選択することを保証できる。 我々は,パラメータが少ない場合でも,OptEqが従来の暗黙モデルより優れていることを示す。 この研究は、深層モデルの最適化誘導設計への第一歩を定めている。

関連論文リスト

• Positive concave deep equilibrium models [7.148312060227714]
  ディープ平衡モデル(Deep equilibrium Model, DEQ)は、標準的なニューラルネットワークに代わるメモリ効率のモデルである。 正凹深部平衡モデル(pcDEQ)と呼ばれる新しいDECモデルを導入する。 非線形ペロン・フロベニウス理論に基づく我々のアプローチは、正のオーサント上に凹む非負の重みと活性化関数を強制する。
  論文  参考訳（メタデータ） (2024-02-06T14:24:29Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Physics-Informed Neural Network Method for Parabolic Differential Equations with Sharply Perturbed Initial Conditions [68.8204255655161]
  急激な摂動初期条件を持つパラボラ問題に対する物理インフォームドニューラルネットワーク(PINN)モデルを開発した。 ADE解の局所的な大きな勾配は(PINNでよく見られる)ラテンハイパーキューブで方程式の残余の高効率なサンプリングを行う。 本稿では,他の方法により選択した量よりも精度の高いPINNソリューションを生成する損失関数における重みの基準を提案する。
  論文  参考訳（メタデータ） (2022-08-18T05:00:24Z)
• Optimization-Induced Graph Implicit Nonlinear Diffusion [64.39772634635273]
  我々はGIND(Graph Implicit Diffusion)と呼ばれる新しいグラフ畳み込み変種を提案する。 GINDは暗黙的に隣人の無限のホップにアクセスでき、非線型拡散を伴う特徴を適応的に集約することで過度な平滑化を防いでいる。 学習された表現は、明示的な凸最適化目標の最小化として定式化できることを示す。
  論文  参考訳（メタデータ） (2022-06-29T06:26:42Z)
• Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-27T08:00:13Z)
• A QUBO Formulation for Minimum Loss Spanning Tree Reconfiguration Problems in Electric Power Networks [0.0]
  分散グリッドの最適再構成のための2次非制約バイナリ最適化(QUBO)を新たに導入する。 一般定式化の具体例として33ノードテストネットワークを用いる。 この例の最適解を求め, 独立手法による最適解との比較により検証した。
  論文  参考訳（メタデータ） (2021-09-20T16:26:24Z)
• Competitive Mirror Descent [67.31015611281225]
  制約のある競合最適化には、制約の対象となる競合する目的を最小化しようとする複数のエージェントが含まれる。 本稿では, 競合ミラー降下法(CMD)を提案する。 特別の場合として、正の円錐上の問題に対する新しい競合乗法重みアルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-06-17T22:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。