論文の概要: Positive concave deep equilibrium models

• arxiv url: http://arxiv.org/abs/2402.04029v1
• Date: Tue, 6 Feb 2024 14:24:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 14:28:13.630340
• Title: Positive concave deep equilibrium models
• Title（参考訳）: 正凹深部平衡モデル
• Authors: Mateusz Gabor, Tomasz Piotrowski, Renato L. G. Cavalcante
• Abstract要約: ディープ平衡モデル(Deep equilibrium Model, DEQ)は、標準的なニューラルネットワークに代わるメモリ効率のモデルである。 正凹深部平衡モデル(pcDEQ)と呼ばれる新しいDECモデルを導入する。 非線形ペロン・フロベニウス理論に基づく我々のアプローチは、正のオーサント上に凹む非負の重みと活性化関数を強制する。
• 参考スコア（独自算出の注目度）: 8.033986388529225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep equilibrium (DEQ) models are widely recognized as a memory efficient alternative to standard neural networks, achieving state-of-the-art performance in language modeling and computer vision tasks. These models solve a fixed point equation instead of explicitly computing the output, which sets them apart from standard neural networks. However, existing DEQ models often lack formal guarantees of the existence and uniqueness of the fixed point, and the convergence of the numerical scheme used for computing the fixed point is not formally established. As a result, DEQ models are potentially unstable in practice. To address these drawbacks, we introduce a novel class of DEQ models called positive concave deep equilibrium (pcDEQ) models. Our approach, which is based on nonlinear Perron-Frobenius theory, enforces nonnegative weights and activation functions that are concave on the positive orthant. By imposing these constraints, we can easily ensure the existence and uniqueness of the fixed point without relying on additional complex assumptions commonly found in the DEQ literature, such as those based on monotone operator theory in convex analysis. Furthermore, the fixed point can be computed with the standard fixed point algorithm, and we provide theoretical guarantees of geometric convergence, which, in particular, simplifies the training process. Experiments demonstrate the competitiveness of our pcDEQ models against other implicit models.
• Abstract（参考訳）: Deep equilibrium(DEQ)モデルは、標準ニューラルネットワークのメモリ効率の代替として広く認識されており、言語モデリングやコンピュータビジョンタスクにおける最先端のパフォーマンスを実現している。 これらのモデルは、出力を明示的に計算するのではなく、固定点方程式を解く。 しかし、既存のDECモデルは固定点の存在と特異性の正式な保証を欠いていることが多く、固定点の計算に使用される数値スキームの収束は正式には確立されていない。 結果として、deqモデルは実際には不安定である可能性がある。 これらの欠点に対処するために、正凹深度平衡モデル(pcDEQ)と呼ばれる新しいDEQモデルを導入する。 非線形ペロン・フロベニウス理論に基づく我々のアプローチは、正のオーサント上に凹む非負の重みと活性化関数を強制する。 これらの制約を課すことで、凸解析における単調作用素理論に基づくようなDEC文献でよく見られる追加の複雑な仮定に頼ることなく、固定点の存在と一意性を容易に確保できる。 さらに、不動点を標準不動点アルゴリズムで計算し、特にトレーニングプロセスを単純化する幾何学的収束の理論的保証を提供する。 実験は、他の暗黙のモデルに対するpcDEQモデルの競合性を実証する。

関連論文リスト

• Lie Algebra Canonicalization: Equivariant Neural Operators under arbitrary Lie Groups [11.572188414440436]
  我々は、対称性群の無限小生成子の作用のみを利用する新しいアプローチであるLie aLgebrA Canonicalization (LieLAC)を提案する。 標準化のフレームワーク内で運用されているため、LieLACは制約のない事前訓練されたモデルと容易に統合できる。
  論文  参考訳（メタデータ） (2024-10-03T17:21:30Z)
• Deep Equilibrium Models are Almost Equivalent to Not-so-deep Explicit Models for High-dimensional Gaussian Mixtures [20.14786877203241]
  インプリシトニューラルネットワークモデル(DEQ)は、様々なタスクにおいて顕著な成功を収めている。 これらのインプリシットCKとNTKのスペクトル挙動は、DECの活性化関数と初期重量分散に依存することを示す。 提案手法では,DEC と同じ CK あるいは NTK を生成するために,浅い明示的ネットワークを慎重に設計できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T03:20:33Z)
• Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-27T08:00:13Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Optimization Induced Equilibrium Networks [76.05825996887573]
  暗黙の方程式によって定義されるディープニューラルネットワーク(DNN)のような暗黙の平衡モデルは最近ますます魅力的になりつつある。 我々は,パラメータが少ない場合でも,OptEqが従来の暗黙的モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-27T15:17:41Z)
• Monotone operator equilibrium networks [97.86610752856987]
  我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。 暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。 次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:57:31Z)
• Learning CHARME models with neural networks [1.5362025549031046]
  我々はCHARME(Conditional Heteroscedastic Autoregressive Mixture of Experts)と呼ばれるモデルを考える。 そこで本研究では,NNに基づく自己回帰関数の学習理論を開発した。
  論文  参考訳（メタデータ） (2020-02-08T21:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。