論文の概要: Understanding and Mitigating Exploding Inverses in Invertible Neural Networks

• arxiv url: http://arxiv.org/abs/2006.09347v2
• Date: Fri, 24 Dec 2021 17:26:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:37:04.743713
• Title: Understanding and Mitigating Exploding Inverses in Invertible Neural Networks
• Title（参考訳）: 可逆ニューラルネットワークにおける爆発的逆の理解と緩和
• Authors: Jens Behrmann, Paul Vicol, Kuan-Chieh Wang, Roger Grosse, J\"orn-Henrik Jacobsen
• Abstract要約: Invertible Neural Network (INN) は、生成モデルを設計し、メモリ節約勾配計算を実装し、逆問題を解決するために使われている。 本研究は,よく使われる INN アーキテクチャが爆発する逆数に悩まされ,数値的に非可逆になる傾向にあることを示す。
• 参考スコア（独自算出の注目度）: 12.158549746821913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Invertible neural networks (INNs) have been used to design generative models, implement memory-saving gradient computation, and solve inverse problems. In this work, we show that commonly-used INN architectures suffer from exploding inverses and are thus prone to becoming numerically non-invertible. Across a wide range of INN use-cases, we reveal failures including the non-applicability of the change-of-variables formula on in- and out-of-distribution (OOD) data, incorrect gradients for memory-saving backprop, and the inability to sample from normalizing flow models. We further derive bi-Lipschitz properties of atomic building blocks of common architectures. These insights into the stability of INNs then provide ways forward to remedy these failures. For tasks where local invertibility is sufficient, like memory-saving backprop, we propose a flexible and efficient regularizer. For problems where global invertibility is necessary, such as applying normalizing flows on OOD data, we show the importance of designing stable INN building blocks.
• Abstract（参考訳）: Invertible Neural Network (INN) は、生成モデルの設計、メモリ節約勾配計算の実装、逆問題の解決に使われている。 本研究は,よく使われる INN アーキテクチャが爆発する逆数に悩まされ,数値的に非可逆になる傾向があることを示す。 In-out-of-distribution(OOD)データにおける変数変更の非適用性、メモリセービングバックプロップの誤勾配、正規化フローモデルからのサンプリング不能など、広範囲にわたるINNユースケースの障害を明らかにする。 さらに、共通アーキテクチャの原子構造ブロックの双Lipschitz特性を導出する。 INNの安定性に関するこれらの洞察は、これらの障害を治療する方法を提供します。 メモリ節約バックプロップのように局所可逆性が十分であるタスクに対しては、柔軟で効率的な正規化子を提案する。 OODデータに正規化フローを適用するなど、グローバルな可逆性が必要な問題に対しては、安定したINNビルディングブロックを設計することの重要性を示す。

関連論文リスト

• Enhancing Reliability of Neural Networks at the Edge: Inverted Normalization with Stochastic Affine Transformations [0.22499166814992438]
  インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。 実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
  論文  参考訳（メタデータ） (2024-01-23T00:27:31Z)
• Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
  本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。 これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。 我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2023-10-25T13:23:08Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Measurement-Consistent Networks via a Deep Implicit Layer for Solving Inverse Problems [0.0]
  エンドツーエンドのディープニューラルネットワーク(DNN)は、逆問題を解決するための最先端のSOTA(State-of-the-art)になっている。 これらのネットワークは、トレーニングパイプラインの小さなバリエーションに敏感であり、小さなが重要な詳細を再構築することができないことが多い。 本稿では,逆問題に対して任意のDNNを計測一貫性に変換するフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-06T17:05:04Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Integrating Random Effects in Deep Neural Networks [4.860671253873579]
  深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。 相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2022-06-07T14:02:24Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
  本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。 提案するRNNは, 2次常微分方程式系の時間分解に基づく。 実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2020-10-02T12:35:04Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。