論文の概要: On the Universality of Coupling-based Normalizing Flows
- arxiv url: http://arxiv.org/abs/2402.06578v1
- Date: Fri, 9 Feb 2024 17:51:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 15:48:56.672250
- Title: On the Universality of Coupling-based Normalizing Flows
- Title(参考訳): 結合型正規化流れの普遍性について
- Authors: Felix Draxler, Stefan Wahl, Christoph Schn\"orr, Ullrich K\"othe
- Abstract要約: 本稿では,RealNVPのような結合型正規化フローの表現力を理解するための新しい理論的枠組みを提案する。
この結果は、結合アーキテクチャが表現的であることの一般的な知恵を支持し、結合関数の表現性を選択するためのニュアンスなビューを提供する。
- 参考スコア(独自算出の注目度): 1.7751300245073598
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel theoretical framework for understanding the expressive
power of coupling-based normalizing flows such as RealNVP. Despite their
prevalence in scientific applications, a comprehensive understanding of
coupling flows remains elusive due to their restricted architectures. Existing
theorems fall short as they require the use of arbitrarily ill-conditioned
neural networks, limiting practical applicability. Additionally, we demonstrate
that these constructions inherently lead to volume-preserving flows, a property
which we show to be a fundamental constraint for expressivity. We propose a new
distributional universality theorem for coupling-based normalizing flows, which
overcomes several limitations of prior work. Our results support the general
wisdom that the coupling architecture is expressive and provide a nuanced view
for choosing the expressivity of coupling functions, bridging a gap between
empirical results and theoretical understanding.
- Abstract(参考訳): 本稿では,realnvpのような結合型正規化流れの表現力を理解するための新しい理論的枠組みを提案する。
科学的応用が盛んであるにもかかわらず、結合フローの包括的理解は、その制限されたアーキテクチャのためにいまだに解明されていない。
既存の定理は、任意に不条件のニューラルネットワークを使用する必要があるため、実用性を制限するため、不足している。
さらに、これらの構造が本質的に容積保存フローに結びついていることを示し、これは表現性の基本的な制約であることを示す。
本稿では,事前作業の制約を克服した結合に基づく正規化フローに対する新しい分布普遍性定理を提案する。
この結果は,結合アーキテクチャが表現的であることの一般的な認識を支持し,結合関数の表現性を選択し,経験的結果と理論的理解のギャップを埋めるニュアンス的な視点を提供する。
関連論文リスト
- On the Disconnect Between Theory and Practice of Overparametrized Neural
Networks [10.96191347868635]
ニューラルネットワーク(NN)の無限幅限界は、大規模で過度にパラメータ化されたネットワークの振る舞いを分析する理論的枠組みとして重要な注目を集めている。
本研究では,この制限機構が実際に使用される大型アーキテクチャの挙動を記述しているか,アルゴリズムの改良に有用かを検討する。
論文 参考訳(メタデータ) (2023-09-29T20:51:24Z) - Interpolation, Approximation and Controllability of Deep Neural Networks [18.311411538309425]
教師付き学習、すなわち普遍的および普遍的近似から生じる2つの特性について考察する。
普遍同値性の特徴を与え、本質的には非線型性を持つ任意のアーキテクチャに対して成り立つことを示す。
論文 参考訳(メタデータ) (2023-09-12T07:29:47Z) - Absorbing Phase Transitions in Artificial Deep Neural Networks [0.5833117322405447]
相転移を吸収する際の普遍的臨界現象の観点から、適切に普遍性ニューラルネットワークを理解することができることを示す。
顕著なことに、有限サイズのスケーリングもうまく適用でき、直観的な議論が信号伝搬ダイナミクスの半定量的記述に繋がることを示唆している。
論文 参考訳(メタデータ) (2023-07-05T13:39:02Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Unifying different notions of quantum incompatibility into a strict
hierarchy of resource theories of communication [60.18814584837969]
我々は、POVM、チャネル、機器の非互換性の異なる概念を統一するq-compatibilityの概念を導入する。
我々は、情報理論資源の観点から、各非互換性の概念が何を構成しているかを正確に特定することができる。
論文 参考訳(メタデータ) (2022-11-16T21:33:31Z) - Compression Implies Generalization [15.43680379004285]
一般化境界を証明するための圧縮ベースのフレームワークを確立する。
また、他の一般的な機械学習モデルに対して、既知の最強の一般化境界の簡単な証明を可能にすることも示しています。
論文 参考訳(メタデータ) (2021-06-15T09:08:11Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳(メタデータ) (2020-09-01T09:07:25Z) - Universal Approximation Power of Deep Residual Neural Networks via
Nonlinear Control Theory [9.210074587720172]
我々は、幾何学的非線形制御により、ディープ残差ニューラルネットワークの普遍近似能力を説明する。
残余ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残余ネットワークが普遍近似の力を持つための一般的な条件を提供する。
論文 参考訳(メタデータ) (2020-07-12T14:53:30Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳(メタデータ) (2020-07-11T18:19:50Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。