Fugu-MT 論文翻訳(概要): Whitening Convergence Rate of Coupling-based Normalizing Flows

論文の概要: Whitening Convergence Rate of Coupling-based Normalizing Flows

arxiv url: http://arxiv.org/abs/2210.14032v1
Date: Tue, 25 Oct 2022 14:10:34 GMT
ステータス: 処理完了
システム内更新日: 2022-10-26 13:56:59.976296
Title: Whitening Convergence Rate of Coupling-based Normalizing Flows
Title（参考訳）: カップリング型正規化流れのホワイトニング収束速度
Authors: Felix Draxler, Christoph Schn\"orr, Ullrich K\"othe
Abstract要約: 既存の研究は、そのような流れが任意のデータ分布に弱収束していることを示している。すべての結合型正規化フローがデータ分布の白化を行うことを示す。流れの深さに線形収束率を示す対応する収束境界を導出する。
参考スコア（独自算出の注目度）: 1.1279808969568252
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Coupling-based normalizing flows (e.g. RealNVP) are a popular family of normalizing flow architectures that work surprisingly well in practice. This calls for theoretical understanding. Existing work shows that such flows weakly converge to arbitrary data distributions. However, they make no statement about the stricter convergence criterion used in practice, the maximum likelihood loss. For the first time, we make a quantitative statement about this kind of convergence: We prove that all coupling-based normalizing flows perform whitening of the data distribution (i.e. diagonalize the covariance matrix) and derive corresponding convergence bounds that show a linear convergence rate in the depth of the flow. Numerical experiments demonstrate the implications of our theory and point at open questions.
Abstract（参考訳）: 結合ベースの正規化フロー(RealNVPなど)は、実際に驚くほどうまく機能する正規化フローアーキテクチャの一般的なファミリーである。これは理論的な理解を必要とする。既存の研究は、そのような流れが任意のデータ分布に弱く収束することを示している。しかし、実際にはより厳密な収束基準、最大可能性損失については何も述べていない。我々は、全ての結合に基づく正規化フローがデータ分布の白化(すなわち共分散行列の対角化)を行い、流れの深さで線形収束率を示す対応する収束境界を導出することを証明する。数値実験は我々の理論の意義を実証し、疑問を提起する。

関連論文リスト

A Unified Analysis for Finite Weight Averaging [50.75116992029417]
Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
論文参考訳（メタデータ） (2024-11-20T10:08:22Z)
Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文参考訳（メタデータ） (2024-10-19T02:36:11Z)
On the Universality of Coupling-based Normalizing Flows [10.479969050570684]
本稿では,RealNVP などの結合型正規化フローの分布定理を提案する。容積保存正規化フローは普遍的ではなく、どの分布を学習するか、どのように表現性を修正するかを示す。
論文参考訳（メタデータ） (2024-02-09T17:51:43Z)
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文参考訳（メタデータ） (2023-06-20T16:58:00Z)
Penalising the biases in norm regularisation enforces sparsity [28.86954341732928]
この研究は、関数を表すのに必要なパラメータのノルムが、その第二微分の総変分によって与えられることを示し、$sqrt1+x2$ factorで重み付けされる。特に、この重み付け係数はバイアス項のノルムが正規化されないときに消失する。
論文参考訳（メタデータ） (2023-03-02T15:33:18Z)
A Convergence Theory for Federated Average: Beyond Smoothness [28.074273047592065]
フェデレートラーニングにより、大量のエッジコンピューティングデバイスが、データ共有を併用せずにモデルを学習できるようになる。この設定における主要なアルゴリズムとして、ローカルデバイス上でGradient Descent(SGD)を並列に実行するFederated Average FedAvgが広く使用されている。本稿では,フェデレートラーニングに関する理論的収束研究について述べる。
論文参考訳（メタデータ） (2022-11-03T04:50:49Z)
Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文参考訳（メタデータ） (2022-02-23T06:11:49Z)
Universal Approximation for Log-concave Distributions using Well-conditioned Normalizing Flows [20.022920482589324]
本研究では, 対数凹面分布をよく条件付きアフィンカップリング流を用いて近似できることを示す。また,アフィンカップリングの訓練の実践についても報告する。
論文参考訳（メタデータ） (2021-07-07T00:13:50Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Principled Interpolation in Normalizing Flows [5.582101184758527]
正規化フローに基づく生成モデルは、複雑なデータ分布をモデル化するのに非常に成功している。直交線は予期せぬ副作用を示しますサンプルが観察される領域の外側に経路がありますこの観察は、ノルムの修正が一般的に良い結果をもたらすべきであることを示唆するが、曖昧な方法でノルムの修正方法が明確でない。
論文参考訳（メタデータ） (2020-10-22T21:02:10Z)
The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
論文参考訳（メタデータ） (2020-06-06T19:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。