論文の概要: Fixed Point Networks: Implicit Depth Models with Jacobian-Free Backprop

• arxiv url: http://arxiv.org/abs/2103.12803v1
• Date: Tue, 23 Mar 2021 19:20:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 02:02:27.504732
• Title: Fixed Point Networks: Implicit Depth Models with Jacobian-Free Backprop
• Title（参考訳）: 固定点ネットワーク:ジャコビアンフリーバックプロップを用いた入射深さモデル
• Authors: Samy Wu Fung, Howard Heaton, Qiuwei Li, Daniel McKenzie, Stanley Osher, Wotao Yin
• Abstract要約: 深層学習のトレンドは、ネットワーク深度が無限に近づくにつれて、限界の近似によって固定深度モデルを置き換える。 特に暗黙の深度モデルによるバックプロパゲーションは、暗黙の関数定理から生じるヤコブ方程式の解法を必要とする。 ネットワーク重みと入力データによって定義される固有の限界に前方伝播の収束を保証する固定点ネットワーク(FPN)を提案する。
• 参考スコア（独自算出の注目度）: 21.00060644438722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A growing trend in deep learning replaces fixed depth models by approximations of the limit as network depth approaches infinity. This approach uses a portion of network weights to prescribe behavior by defining a limit condition. This makes network depth implicit, varying based on the provided data and an error tolerance. Moreover, existing implicit models can be implemented and trained with fixed memory costs in exchange for additional computational costs. In particular, backpropagation through implicit depth models requires solving a Jacobian-based equation arising from the implicit function theorem. We propose fixed point networks (FPNs), a simple setup for implicit depth learning that guarantees convergence of forward propagation to a unique limit defined by network weights and input data. Our key contribution is to provide a new Jacobian-free backpropagation (JFB) scheme that circumvents the need to solve Jacobian-based equations while maintaining fixed memory costs. This makes FPNs much cheaper to train and easy to implement. Our numerical examples yield state of the art classification results for implicit depth models and outperform corresponding explicit models.
• Abstract（参考訳）: 深層学習のトレンドは、ネットワーク深度が無限に近づくにつれて、限界の近似によって固定深度モデルを置き換える。 このアプローチでは、ネットワークウェイトの一部を制限条件の定義によって振る舞いを規定する。 これにより、提供されるデータとエラー耐性に基づいて、ネットワークの深さが暗黙的に変化する。 さらに、既存の暗黙のモデルは、追加の計算コストと引き換えに、固定メモリコストで実装および訓練することができる。 特に、暗黙の深さモデルによるバックプロパゲーションは、暗黙の関数定理から生じるヤコビアン方程式を解く必要がある。 ネットワーク重みと入力データによって定義された一意の極限への前方伝播の収束を保証する暗黙深度学習のための単純なセットアップである固定点ネットワーク(FPN)を提案する。 我々の重要な貢献は、固定メモリコストを維持しながら、ヤコビ方程式を解く必要性を回避する新しいヤコビ自由バックプロパゲーション(JFB)方式を提供することである。 これにより、FPNはトレーニングがずっと安く、実装が簡単になる。 数値例は,暗黙の奥行きモデルとそれに対応する明示的なモデルに対して,芸術分類結果の状態を導出する。

関連論文リスト

• Adaptive Multilevel Neural Networks for Parametric PDEs with Error Estimation [0.0]
  ニューラルネットワークアーキテクチャは高次元パラメータ依存偏微分方程式(pPDE)を解くために提示される モデルデータのパラメータを対応する有限要素解にマッピングするために構築される。 適応有限要素法(AFEM)で生成される粗いグリッド解と一連の補正を出力する。
  論文  参考訳（メタデータ） (2024-03-19T11:34:40Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Gradient Descent Optimizes Infinite-Depth ReLU Implicit Networks with Linear Widths [25.237054775800164]
  本稿では非線形ReLU活性化暗黙ネットワークにおける勾配流と勾配勾配の収束について検討する。 GF と GD のどちらも,暗黙的ネットワークの幅$m$ が標本サイズでテキストリニアであれば,線形速度で大域最小値に収束することが証明される。
  論文  参考訳（メタデータ） (2022-05-16T06:07:56Z)
• Deep Capsule Encoder-Decoder Network for Surrogate Modeling and Uncertainty Quantification [0.0]
  提案するフレームワークは,Capsule Network (CapsNet) アーキテクチャを画像から画像への回帰エンコーダ・デコーダネットワークに適応させることにより開発されている。 性能評価の結果,提案手法は正確で効率的で頑健であることが示唆された。
  論文  参考訳（メタデータ） (2022-01-19T17:45:01Z)
• Improving Robustness and Uncertainty Modelling in Neural Ordinary Differential Equations [0.2538209532048866]
  本研究では,NODE における不確実性をモデル化するための新しい手法を提案する。 また、各データポイントが終末時間に異なる後続分布を持つことができる適応遅延時間NODE(ALT-NODE)を提案する。 本研究では,合成画像と実世界の画像分類データを用いた実験により,不確実性とロバスト性をモデル化する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-12-23T16:56:10Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。