論文の概要: On the Universality of Coupling-based Normalizing Flows

• arxiv url: http://arxiv.org/abs/2402.06578v2
• Date: Wed, 5 Jun 2024 17:52:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 01:21:50.800859
• Title: On the Universality of Coupling-based Normalizing Flows
• Title（参考訳）: 結合型正規化流れの普遍性について
• Authors: Felix Draxler, Stefan Wahl, Christoph Schnörr, Ullrich Köthe,
• Abstract要約: 本稿では,RealNVP などの結合型正規化フローの分布定理を提案する。 容積保存正規化フローは普遍的ではなく、どの分布を学習するか、どのように表現性を修正するかを示す。
• 参考スコア（独自算出の注目度）: 10.479969050570684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel theoretical framework for understanding the expressive power of normalizing flows. Despite their prevalence in scientific applications, a comprehensive understanding of flows remains elusive due to their restricted architectures. Existing theorems fall short as they require the use of arbitrarily ill-conditioned neural networks, limiting practical applicability. We propose a distributional universality theorem for well-conditioned coupling-based normalizing flows such as RealNVP. In addition, we show that volume-preserving normalizing flows are not universal, what distribution they learn instead, and how to fix their expressivity. Our results support the general wisdom that affine and related couplings are expressive and in general outperform volume-preserving flows, bridging a gap between empirical results and theoretical understanding.
• Abstract（参考訳）: 正規化フローの表現力を理解するための新しい理論的枠組みを提案する。 科学的な応用が盛んであるにもかかわらず、流れの包括的な理解は、その制限されたアーキテクチャのため、いまだに解明されていない。 既存の定理は、任意に不条件のニューラルネットワークを使用する必要があるため、実用性を制限するため、不足している。 本稿では,RealNVP などの疎結合型正規化フローに対する分布普遍性定理を提案する。 さらに,体積保存型正規化フローは普遍的ではなく,どの分布を学習するか,どのように表現性を修正するかを示す。 この結果は,アフィンと関連する結合が表現的であり,一般に容積保存フローに優れており,経験的結果と理論的理解のギャップを埋めるものである,という一般的な知恵を裏付けるものである。

関連論文リスト

• Interpolation, Approximation and Controllability of Deep Neural Networks [18.311411538309425]
  教師付き学習、すなわち普遍的および普遍的近似から生じる2つの特性について考察する。 普遍同値性の特徴を与え、本質的には非線型性を持つ任意のアーキテクチャに対して成り立つことを示す。
  論文  参考訳（メタデータ） (2023-09-12T07:29:47Z)
• Unifying different notions of quantum incompatibility into a strict hierarchy of resource theories of communication [60.18814584837969]
  我々は、POVM、チャネル、機器の非互換性の異なる概念を統一するq-compatibilityの概念を導入する。 我々は、情報理論資源の観点から、各非互換性の概念が何を構成しているかを正確に特定することができる。
  論文  参考訳（メタデータ） (2022-11-16T21:33:31Z)
• Whitening Convergence Rate of Coupling-based Normalizing Flows [1.1279808969568252]
  既存の研究は、そのような流れが任意のデータ分布に弱収束していることを示している。 すべての結合型正規化フローがデータ分布の白化を行うことを示す。 流れの深さに線形収束率を示す対応する収束境界を導出する。
  論文  参考訳（メタデータ） (2022-10-25T14:10:34Z)
• Universal Approximation for Log-concave Distributions using Well-conditioned Normalizing Flows [20.022920482589324]
  本研究では, 対数凹面分布をよく条件付きアフィンカップリング流を用いて近似できることを示す。 また,アフィンカップリングの訓練の実践についても報告する。
  論文  参考訳（メタデータ） (2021-07-07T00:13:50Z)
• Measuring Generalization with Optimal Transport [111.29415509046886]
  我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
  論文  参考訳（メタデータ） (2021-06-07T03:04:59Z)
• Universal Approximation of Residual Flows in Maximum Mean Discrepancy [24.493721984271566]
  リプシッツ残差ブロックからなる正規化流のクラスである残留流について検討する。 残差流は最大平均差の普遍近似であることを示す。
  論文  参考訳（メタデータ） (2021-03-10T00:16:33Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Generalised Lipschitz Regularisation Equals Distributional Robustness [47.44261811369141]
  分布的ロバスト性と正規化の関係について、非常に一般的な等式結果を与える。 対立学習と分布ロバスト性の関係を明らかにする新しい結果を示す。
  論文  参考訳（メタデータ） (2020-02-11T04:19:43Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。