論文の概要: On the curse of dimensionality for Normalizing Flows
- arxiv url: http://arxiv.org/abs/2302.12024v1
- Date: Thu, 23 Feb 2023 13:34:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 14:56:44.648342
- Title: On the curse of dimensionality for Normalizing Flows
- Title(参考訳): 流れの正規化のための次元の呪いについて
- Authors: Andrea Coccaro and Marco Letizia and Humberto Reyes-Gonzalez and
Riccardo Torre
- Abstract要約: 4つの異なるアーキテクチャを考慮し,結合と自己回帰流の詳細な比較を提案する。
我々は,次元が4~1000の範囲で複雑化するターゲット分布に焦点をあてる。
以上の結果から,A-RQSアルゴリズムは精度とトレーニング速度の両面で際立っていることが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalizing Flows have emerged as a powerful brand of generative models, as
they not only allow for efficient sampling of complicated target distributions,
but also deliver density estimation by construction. We propose here an
in-depth comparison of coupling and autoregressive flows, both of the affine
and rational quadratic spline type, considering four different architectures:
Real-valued Non-Volume Preserving (RealNVP), Masked Autoregressive Flow (MAF),
Coupling Rational Quadratic Spline (C-RQS), and Autoregressive Rational
Quadratic Spline (A-RQS). We focus on different target distributions of
increasing complexity with dimensionality ranging from 4 to 1000. The
performances are discussed in terms of different figures of merit: the
one-dimensional Wasserstein distance, the one-dimensional Kolmogorov-Smirnov
test, the Frobenius norm of the difference between correlation matrices, and
the training time. Our results indicate that the A-RQS algorithm stands out
both in terms of accuracy and training speed. Nonetheless, all the algorithms
are generally able, without much fine-tuning, to learn complex distributions
with limited training data and in a reasonable time, of the order of hours on a
Tesla V100 GPU. The only exception is the C-RQS, which takes significantly
longer to train, and does not always provide good accuracy. All algorithms have
been implemented using TensorFlow2 and TensorFlow Probability and made
available on GitHub.
- Abstract(参考訳): 正規化フローは、複雑なターゲット分布の効率的なサンプリングを可能にするだけでなく、構築による密度推定も可能にするため、生成モデルの強力なブランドとして登場した。
本稿では, 実数値非体積保存 (RealNVP), Masked Autoregressive Flow (MAF), Coupling Rational Quadratic Spline (C-RQS), Autoregressive Rational Quadratic Spline (A-RQS) の4つの異なるアーキテクチャを考慮し, アフィン型と有理型2次スプライン型の結合と自己回帰型を詳細に比較する。
4次元から1000次元までの複雑さの増加の異なる対象分布に注目した。
性能は1次元のワッサーシュタイン距離、1次元のコルモゴロフ・スミルノフ試験、相関行列の差のフロベニウスノルム、およびトレーニング時間という異なる数値で議論される。
以上の結果から,A-RQSアルゴリズムは精度とトレーニング速度の両面で際立っていることがわかった。
それでも、すべてのアルゴリズムは、あまり微調整することなく、Tesla V100 GPU上で、限られたトレーニングデータと妥当な時間で、複雑なディストリビューションを学習することができる。
唯一の例外はC-RQSであり、訓練にかなり時間がかかり、必ずしも精度が良いとは限らない。
すべてのアルゴリズムはTensorFlow2とTensorFlow Probabilityを使用して実装され、GitHubで公開されている。
関連論文リスト
- PaddingFlow: Improving Normalizing Flows with Padding-Dimensional Noise [5.352677991834813]
パディングフロー(PaddingFlow)は,パディング次元雑音による正規化フローを改善する新しいデクエント化法である。
PaddingFlowは簡単に実装でき、計算的に安価で、様々なタスクに広く適合し、データのバイアスのない推定サンプルを生成する。
論文 参考訳(メタデータ) (2024-03-13T03:28:39Z) - Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。
MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。
本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
論文 参考訳(メタデータ) (2022-06-29T22:19:03Z) - On the Dynamics of Inference and Learning [0.0]
本稿では,このベイズ更新過程を連続力学系として扱う。
クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
論文 参考訳(メタデータ) (2022-04-19T18:04:36Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳(メタデータ) (2022-04-18T17:53:44Z) - VQ-Flows: Vector Quantized Local Normalizing Flows [2.7998963147546148]
データ多様体上の「チャートマップ」として局所正規化フローの混合を学習するための新しい統計フレームワークを導入する。
本フレームワークは, 正規化フローのシグネチャ特性を保ちながら, 最近の手法の表現性を向上し, 正確な密度評価を行う。
論文 参考訳(メタデータ) (2022-03-22T09:22:18Z) - Emulating Spatio-Temporal Realizations of Three-Dimensional Isotropic
Turbulence via Deep Sequence Learning Models [24.025975236316842]
最先端のディープラーニング技術を用いて3次元乱流をモデル化するために,データ駆動方式を用いる。
モデルの精度は、統計および物理に基づくメトリクスを用いて評価される。
論文 参考訳(メタデータ) (2021-12-07T03:33:39Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳(メタデータ) (2021-08-23T21:03:09Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳(メタデータ) (2021-04-05T21:44:00Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳(メタデータ) (2020-11-14T09:51:51Z) - OT-Flow: Fast and Accurate Continuous Normalizing Flows via Optimal
Transport [8.468007443062751]
正規化フローは任意の確率分布と標準正規分布の間の可逆写像である。
OT-Flowは、より広範なCNFの使用を制限する2つの重要な計算課題に取り組む。
5つの高次元密度推定および生成モデリングタスクにおいて、OT-Flowは最先端CNFと競合して動作する。
論文 参考訳(メタデータ) (2020-05-29T22:31:10Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳(メタデータ) (2020-03-04T08:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。