論文の概要: Subhomogeneous Deep Equilibrium Models

• arxiv url: http://arxiv.org/abs/2403.00720v1
• Date: Fri, 1 Mar 2024 18:12:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:35:05.127966
• Title: Subhomogeneous Deep Equilibrium Models
• Title（参考訳）: 準同次深部平衡モデル
• Authors: Pietro Sittoni, Francesco Tudisco
• Abstract要約: 暗黙のニューラルネットワークは、様々なアプリケーションにおける従来のネットワークの強力な代替手段として成長してきた。 我々は,非同次作用素の概念と非線形ペロン・フロベニウス理論に基づく暗黙深度ニューラルネットワークにおける固定点の存在と特異性について,新たな解析を行った。
• 参考スコア（独自算出の注目度）: 6.064507774788186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit-depth neural networks have grown as powerful alternatives to traditional networks in various applications in recent years. However, these models often lack guarantees of existence and uniqueness, raising stability, performance, and reproducibility issues. In this paper, we present a new analysis of the existence and uniqueness of fixed points for implicit-depth neural networks based on the concept of subhomogeneous operators and the nonlinear Perron-Frobenius theory. Compared to previous similar analyses, our theory allows for weaker assumptions on the parameter matrices, thus yielding a more flexible framework for well-defined implicit networks. We illustrate the performance of the resulting subhomogeneous networks on feed-forward, convolutional, and graph neural network examples.
• Abstract（参考訳）: 近年,様々なアプリケーションにおいて,従来のネットワークに代わる強力な代替手段として,暗黙のニューラルネットワークが成長している。 しかしながら、これらのモデルは、しばしば存在と独自性の保証を欠き、安定性、性能、再現性の問題を提起する。 本稿では,非一様作用素の概念と非線形ペロン・フロベニウス理論に基づく,暗黙的深層ニューラルネットワークにおける不動点の存在と一意性に関する新しい解析を行う。 従来の類似解析と比較して、この理論はパラメータ行列の弱い仮定を可能にするため、よく定義された暗黙的ネットワークに対するより柔軟なフレームワークとなる。 本稿では, フィードフォワード, 畳み込み, グラフニューラルネットワークの例において, 結果の同次ネットワークの性能について述べる。

関連論文リスト

• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
  本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。 空間性と一般化の基本的なトレードオフを示す。
  論文  参考訳（メタデータ） (2023-07-01T20:59:05Z)
• A New PHO-rmula for Improved Performance of Semi-Structured Networks [0.0]
  本研究では,SSNにおけるモデルコンポーネントのコントリビューションを適切に識別する手法が,最適ネットワーク推定に繋がることを示す。 モデルコンポーネントの識別性を保証し,予測品質を向上する非侵襲的ポストホック化(PHO)を提案する。 我々の理論的な知見は、数値実験、ベンチマーク比較、およびCOVID-19感染症に対する現実の応用によって裏付けられている。
  論文  参考訳（メタデータ） (2023-06-01T10:23:28Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• The Asymmetric Maximum Margin Bias of Quasi-Homogeneous Neural Networks [26.58848653965855]
  準均質モデルのクラスを導入し、同質な活性化を伴うほぼ全てのニューラルネットワークを記述するのに十分な表現性を示す。 すべてのパラメータが等しく扱われる同質なモデルの場合とは異なり、勾配流はパラメータのサブセットを暗黙的に好んでいる。
  論文  参考訳（メタデータ） (2022-10-07T21:14:09Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• DebiNet: Debiasing Linear Models with Nonlinear Overparameterized Neural Networks [11.04121146441257]
  パラメータ化ニューラルネットワークを半パラメトリックモデルに組み込んで推論と予測のギャップを埋める。 我々はこれを可能とし、数値実験で実証する理論的基礎を示す。 半パラメトリックニューラルネットワークに任意の特徴選択手法をプラグインするフレームワークであるDebiNetを提案する。
  論文  参考訳（メタデータ） (2020-11-01T04:12:53Z)
• Monotone operator equilibrium networks [97.86610752856987]
  我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。 暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。 次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:57:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。