論文の概要: Representational aspects of depth and conditioning in normalizing flows
- arxiv url: http://arxiv.org/abs/2010.01155v2
- Date: Fri, 25 Jun 2021 23:48:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 00:59:45.949631
- Title: Representational aspects of depth and conditioning in normalizing flows
- Title（参考訳）: 正規化流れにおける深さと条件の表現的側面
- Authors: Frederic Koehler, Viraj Mehta, Andrej Risteski
- Abstract要約: 私たちは、分割の選択が深さのボトルネックではないことを表現的に示しています。
また、浅いアフィンカップリングネットワークはワッサーシュタイン距離の普遍近似器であることを示す。
- 参考スコア（独自算出の注目度）: 33.4333537858003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalizing flows are among the most popular paradigms in generative
modeling, especially for images, primarily because we can efficiently evaluate
the likelihood of a data point. This is desirable both for evaluating the fit
of a model, and for ease of training, as maximizing the likelihood can be done
by gradient descent. However, training normalizing flows comes with
difficulties as well: models which produce good samples typically need to be
extremely deep -- which comes with accompanying vanishing/exploding gradient
problems. A very related problem is that they are often poorly conditioned:
since they are parametrized as invertible maps from $\mathbb{R}^d \to
\mathbb{R}^d$, and typical training data like images intuitively is
lower-dimensional, the learned maps often have Jacobians that are close to
being singular.
In our paper, we tackle representational aspects around depth and
conditioning of normalizing flows: both for general invertible architectures,
and for a particular common architecture, affine couplings. We prove that
$\Theta(1)$ affine coupling layers suffice to exactly represent a permutation
or $1 \times 1$ convolution, as used in GLOW, showing that representationally
the choice of partition is not a bottleneck for depth. We also show that
shallow affine coupling networks are universal approximators in Wasserstein
distance if ill-conditioning is allowed, and experimentally investigate related
phenomena involving padding. Finally, we show a depth lower bound for general
flow architectures with few neurons per layer and bounded Lipschitz constant.
- Abstract（参考訳）: 正規化フローは、特に画像において、データポイントの確率を効率的に評価できるため、生成モデリングにおいて最も一般的なパラダイムの一つである。
これは、モデルの適合性を評価することと、トレーニングの容易性の両方において、勾配降下による可能性の最大化が望ましい。
しかし、フローの正規化のトレーニングには、困難も伴う。 良いサンプルを生成するモデルは通常、非常に深いものが必要です。
それらは $\mathbb{R}^d \to \mathbb{R}^d$ から可逆写像としてパラメータ化され、画像のような典型的な訓練データは直感的に低次元であるため、学習された写像は特異点に近いヤコビアンを持つことが多い。
本稿では,一般的な可逆アーキテクチャと一般的なアーキテクチャであるアフィンカップリングについて,奥行きと正規化フローの条件付けに関する表現的側面を取り上げる。
GLOWで使われているように、$\Theta(1)$アフィン結合層は、置換を正確に表すのに十分か、または1ドル \times 1$畳み込みを表すのに十分であることを示す。
また, 浅いアフィンカップリングネットワークは不調が許容される場合, ワッサースタイン距離の普遍近似であり, パディングに関連する関連する現象を実験的に検討する。
最後に,層ごとのニューロン数が少なく,リプシッツ定数が有界な一般フローアーキテクチャの深さ下界を示す。
関連論文リスト
- Scale Propagation Network for Generalizable Depth Completion [16.733495588009184]
入力から出力までのスケールを伝搬する新しいスケール伝搬正規化法(SP-Norm)を提案する。
また,SP-NormとConvNeXt V2のバックボーンをベースとした新しいネットワークアーキテクチャを開発した。
我々のモデルは、最先端の手法と比較して、高速かつ低メモリで常に最高の精度を達成している。
論文 参考訳（メタデータ） (2024-10-24T03:53:06Z) - NeuralGF: Unsupervised Point Normal Estimation by Learning Neural
Gradient Function [55.86697795177619]
3次元点雲の正規推定は3次元幾何処理の基本的な課題である。
我々は,ニューラルネットワークが入力点雲に適合することを奨励する,ニューラルグラデーション関数の学習のための新しいパラダイムを導入する。
広範に使用されているベンチマークの優れた結果から,本手法は非指向性および指向性正常推定タスクにおいて,より正確な正規性を学習できることが示されている。
論文 参考訳（メタデータ） (2023-11-01T09:25:29Z) - Neural Gradient Learning and Optimization for Oriented Point Normal
Estimation [53.611206368815125]
本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。
局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。
本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
論文 参考訳（メタデータ） (2023-09-17T08:35:11Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:00:36Z) - Universal Approximation for Log-concave Distributions using
Well-conditioned Normalizing Flows [20.022920482589324]
本研究では, 対数凹面分布をよく条件付きアフィンカップリング流を用いて近似できることを示す。
また,アフィンカップリングの訓練の実践についても報告する。
論文 参考訳（メタデータ） (2021-07-07T00:13:50Z) - DiGS : Divergence guided shape implicit neural representation for
unoriented point clouds [36.60407995156801]
形状暗黙的神経表現(INR)は近年,形状解析や再構成作業に有効であることが示されている。
本稿では,通常のベクトルを入力として必要としない分岐ガイド型形状表現学習手法を提案する。
論文 参考訳（メタデータ） (2021-06-21T02:10:03Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳（メタデータ） (2021-04-05T21:44:00Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳（メタデータ） (2020-11-14T09:51:51Z) - End-to-end Interpretable Learning of Non-blind Image Deblurring [102.75982704671029]
非ブラインド画像のデブロワーリングは、通常、対応するシャープ画像の勾配に関する自然の先行によって正規化される線形最小二乗問題として定式化される。
本稿では,(既知の)ぼかしと自然像前のカーネルの逆フィルタを用いて,リチャードソン解法を事前条件として提案する。
論文 参考訳（メタデータ） (2020-07-03T15:45:01Z) - Neural Ordinary Differential Equations on Manifolds [0.342658286826597]
近年、ニューラルODEに基づくユークリッド空間の正規化フローは大きな可能性を秘めているが、同じ制限を被っている。
ベクトル場がこれらの空間上の可逆写像の柔軟なクラスをパラメータ化するための一般的なフレームワークを提供する方法を示す。
論文 参考訳（メタデータ） (2020-06-11T17:56:34Z) - You say Normalizing Flows I see Bayesian Networks [11.23030807455021]
正規化フローは、予め定義された位相と各ノードでの学習可能な密度を持つベイズネットワークに還元されることを示す。
正規化フローにおける多重変換の積み重ねは独立性の仮定を緩和し、モデル分布を絡ませることを示す。
我々は,その深さに関わらず,アフィン正規化流れの不均一性を証明した。
論文 参考訳（メタデータ） (2020-06-01T11:54:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。