論文の概要: Whitening Convergence Rate of Coupling-based Normalizing Flows
- arxiv url: http://arxiv.org/abs/2210.14032v1
- Date: Tue, 25 Oct 2022 14:10:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 13:56:59.976296
- Title: Whitening Convergence Rate of Coupling-based Normalizing Flows
- Title(参考訳): カップリング型正規化流れのホワイトニング収束速度
- Authors: Felix Draxler, Christoph Schn\"orr, Ullrich K\"othe
- Abstract要約: 既存の研究は、そのような流れが任意のデータ分布に弱収束していることを示している。
すべての結合型正規化フローがデータ分布の白化を行うことを示す。
流れの深さに線形収束率を示す対応する収束境界を導出する。
- 参考スコア(独自算出の注目度): 1.1279808969568252
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Coupling-based normalizing flows (e.g. RealNVP) are a popular family of
normalizing flow architectures that work surprisingly well in practice. This
calls for theoretical understanding. Existing work shows that such flows weakly
converge to arbitrary data distributions. However, they make no statement about
the stricter convergence criterion used in practice, the maximum likelihood
loss. For the first time, we make a quantitative statement about this kind of
convergence: We prove that all coupling-based normalizing flows perform
whitening of the data distribution (i.e. diagonalize the covariance matrix) and
derive corresponding convergence bounds that show a linear convergence rate in
the depth of the flow. Numerical experiments demonstrate the implications of
our theory and point at open questions.
- Abstract(参考訳): 結合ベースの正規化フロー(RealNVPなど)は、実際に驚くほどうまく機能する正規化フローアーキテクチャの一般的なファミリーである。
これは理論的な理解を必要とする。
既存の研究は、そのような流れが任意のデータ分布に弱く収束することを示している。
しかし、実際にはより厳密な収束基準、最大可能性損失については何も述べていない。
我々は、全ての結合に基づく正規化フローがデータ分布の白化(すなわち共分散行列の対角化)を行い、流れの深さで線形収束率を示す対応する収束境界を導出することを証明する。
数値実験は我々の理論の意義を実証し、疑問を提起する。
関連論文リスト
- Good regularity creates large learning rate implicit biases: edge of
stability, balancing, and catapult [49.8719617899285]
非最適化のための客観的降下に適用された大きな学習速度は、安定性の端を含む様々な暗黙のバイアスをもたらす。
この論文は降下の初期段階を示し、これらの暗黙の偏見が実際には同じ氷山であることを示す。
論文 参考訳(メタデータ) (2023-10-26T01:11:17Z) - The Implicit Bias of Batch Normalization in Linear Models and Two-layer
Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。
また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文 参考訳(メタデータ) (2023-06-20T16:58:00Z) - Penalising the biases in norm regularisation enforces sparsity [28.86954341732928]
この研究は、関数を表すのに必要なパラメータのノルムが、その第二微分の総変分によって与えられることを示し、$sqrt1+x2$ factorで重み付けされる。
特に、この重み付け係数はバイアス項のノルムが正規化されないときに消失する。
論文 参考訳(メタデータ) (2023-03-02T15:33:18Z) - A Convergence Theory for Federated Average: Beyond Smoothness [28.074273047592065]
フェデレートラーニングにより、大量のエッジコンピューティングデバイスが、データ共有を併用せずにモデルを学習できるようになる。
この設定における主要なアルゴリズムとして、ローカルデバイス上でGradient Descent(SGD)を並列に実行するFederated Average FedAvgが広く使用されている。
本稿では,フェデレートラーニングに関する理論的収束研究について述べる。
論文 参考訳(メタデータ) (2022-11-03T04:50:49Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Joint Manifold Learning and Density Estimation Using Normalizing Flows [4.939777212813711]
問題に答えるために,1ピクセルあたりのペナル化と階層的トレーニングという2つのアプローチを導入する。
そこで本稿では,変換された空間をアンタングル化することで,共同多様体学習と密度推定を行う一段階法を提案する。
その結果, 共用多様体学習と密度推定において, 提案手法の優位性を検証した。
論文 参考訳(メタデータ) (2022-06-07T13:35:14Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Universal Approximation for Log-concave Distributions using
Well-conditioned Normalizing Flows [20.022920482589324]
本研究では, 対数凹面分布をよく条件付きアフィンカップリング流を用いて近似できることを示す。
また,アフィンカップリングの訓練の実践についても報告する。
論文 参考訳(メタデータ) (2021-07-07T00:13:50Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - Principled Interpolation in Normalizing Flows [5.582101184758527]
正規化フローに基づく生成モデルは、複雑なデータ分布をモデル化するのに非常に成功している。
直交線は予期せぬ副作用を示します サンプルが観察される領域の外側に経路があります
この観察は、ノルムの修正が一般的に良い結果をもたらすべきであることを示唆するが、曖昧な方法でノルムの修正方法が明確でない。
論文 参考訳(メタデータ) (2020-10-22T21:02:10Z) - The Convergence Indicator: Improved and completely characterized
parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。
この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
論文 参考訳(メタデータ) (2020-06-06T19:08:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。