論文の概要: On the Universality of Coupling-based Normalizing Flows

• arxiv url: http://arxiv.org/abs/2402.06578v1
• Date: Fri, 9 Feb 2024 17:51:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 15:48:56.672250
• Title: On the Universality of Coupling-based Normalizing Flows
• Title（参考訳）: 結合型正規化流れの普遍性について
• Authors: Felix Draxler, Stefan Wahl, Christoph Schn\"orr, Ullrich K\"othe
• Abstract要約: 本稿では,RealNVPのような結合型正規化フローの表現力を理解するための新しい理論的枠組みを提案する。 この結果は、結合アーキテクチャが表現的であることの一般的な知恵を支持し、結合関数の表現性を選択するためのニュアンスなビューを提供する。
• 参考スコア（独自算出の注目度）: 1.7751300245073598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel theoretical framework for understanding the expressive power of coupling-based normalizing flows such as RealNVP. Despite their prevalence in scientific applications, a comprehensive understanding of coupling flows remains elusive due to their restricted architectures. Existing theorems fall short as they require the use of arbitrarily ill-conditioned neural networks, limiting practical applicability. Additionally, we demonstrate that these constructions inherently lead to volume-preserving flows, a property which we show to be a fundamental constraint for expressivity. We propose a new distributional universality theorem for coupling-based normalizing flows, which overcomes several limitations of prior work. Our results support the general wisdom that the coupling architecture is expressive and provide a nuanced view for choosing the expressivity of coupling functions, bridging a gap between empirical results and theoretical understanding.
• Abstract（参考訳）: 本稿では,realnvpのような結合型正規化流れの表現力を理解するための新しい理論的枠組みを提案する。 科学的応用が盛んであるにもかかわらず、結合フローの包括的理解は、その制限されたアーキテクチャのためにいまだに解明されていない。 既存の定理は、任意に不条件のニューラルネットワークを使用する必要があるため、実用性を制限するため、不足している。 さらに、これらの構造が本質的に容積保存フローに結びついていることを示し、これは表現性の基本的な制約であることを示す。 本稿では,事前作業の制約を克服した結合に基づく正規化フローに対する新しい分布普遍性定理を提案する。 この結果は,結合アーキテクチャが表現的であることの一般的な認識を支持し,結合関数の表現性を選択し,経験的結果と理論的理解のギャップを埋めるニュアンス的な視点を提供する。

関連論文リスト

• Interpolation, Approximation and Controllability of Deep Neural Networks [18.311411538309425]
  教師付き学習、すなわち普遍的および普遍的近似から生じる2つの特性について考察する。 普遍同値性の特徴を与え、本質的には非線型性を持つ任意のアーキテクチャに対して成り立つことを示す。
  論文  参考訳（メタデータ） (2023-09-12T07:29:47Z)
• Unifying different notions of quantum incompatibility into a strict hierarchy of resource theories of communication [60.18814584837969]
  我々は、POVM、チャネル、機器の非互換性の異なる概念を統一するq-compatibilityの概念を導入する。 我々は、情報理論資源の観点から、各非互換性の概念が何を構成しているかを正確に特定することができる。
  論文  参考訳（メタデータ） (2022-11-16T21:33:31Z)
• Whitening Convergence Rate of Coupling-based Normalizing Flows [1.1279808969568252]
  既存の研究は、そのような流れが任意のデータ分布に弱収束していることを示している。 すべての結合型正規化フローがデータ分布の白化を行うことを示す。 流れの深さに線形収束率を示す対応する収束境界を導出する。
  論文  参考訳（メタデータ） (2022-10-25T14:10:34Z)
• Universal Approximation for Log-concave Distributions using Well-conditioned Normalizing Flows [20.022920482589324]
  本研究では, 対数凹面分布をよく条件付きアフィンカップリング流を用いて近似できることを示す。 また,アフィンカップリングの訓練の実践についても報告する。
  論文  参考訳（メタデータ） (2021-07-07T00:13:50Z)
• Measuring Generalization with Optimal Transport [111.29415509046886]
  我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
  論文  参考訳（メタデータ） (2021-06-07T03:04:59Z)
• Universal Approximation of Residual Flows in Maximum Mean Discrepancy [24.493721984271566]
  リプシッツ残差ブロックからなる正規化流のクラスである残留流について検討する。 残差流は最大平均差の普遍近似であることを示す。
  論文  参考訳（メタデータ） (2021-03-10T00:16:33Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Generalised Lipschitz Regularisation Equals Distributional Robustness [47.44261811369141]
  分布的ロバスト性と正規化の関係について、非常に一般的な等式結果を与える。 対立学習と分布ロバスト性の関係を明らかにする新しい結果を示す。
  論文  参考訳（メタデータ） (2020-02-11T04:19:43Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。