Fugu-MT 論文翻訳(概要): You say Normalizing Flows I see Bayesian Networks

論文の概要: You say Normalizing Flows I see Bayesian Networks

arxiv url: http://arxiv.org/abs/2006.00866v2
Date: Wed, 3 Jun 2020 21:43:28 GMT
ステータス: 処理完了
システム内更新日: 2022-11-26 06:14:10.279343
Title: You say Normalizing Flows I see Bayesian Networks
Title（参考訳）: 流れの正規化と言うとベイズネットワークは
Authors: Antoine Wehenkel and Gilles Louppe
Abstract要約: 正規化フローは、予め定義された位相と各ノードでの学習可能な密度を持つベイズネットワークに還元されることを示す。正規化フローにおける多重変換の積み重ねは独立性の仮定を緩和し、モデル分布を絡ませることを示す。我々は,その深さに関わらず,アフィン正規化流れの不均一性を証明した。
参考スコア（独自算出の注目度）: 11.23030807455021
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Normalizing flows have emerged as an important family of deep neural networks for modelling complex probability distributions. In this note, we revisit their coupling and autoregressive transformation layers as probabilistic graphical models and show that they reduce to Bayesian networks with a pre-defined topology and a learnable density at each node. From this new perspective, we provide three results. First, we show that stacking multiple transformations in a normalizing flow relaxes independence assumptions and entangles the model distribution. Second, we show that a fundamental leap of capacity emerges when the depth of affine flows exceeds 3 transformation layers. Third, we prove the non-universality of the affine normalizing flow, regardless of its depth.
Abstract（参考訳）: 正規化フローは、複雑な確率分布をモデル化するためのディープニューラルネットワークの重要なファミリーとして出現した。本稿では,それらの結合層と自己回帰変換層を確率的グラフィカルモデルとして再検討し,各ノードで予め定義された位相と学習可能な密度でベイズネットワークに還元することを示す。この新たな観点から、3つの結果が得られます。まず,正規化フローにおける多重変換の積み重ねが独立性仮定を緩和し,モデル分布を絡み合うことを示す。第2に,アフィン流の深さが3層を超えると,キャパシティの基本的な飛躍が現れることを示す。第3に,アフィン正規化流れの深さに関係なく,非普遍性を証明する。

関連論文リスト

Implicit Bias of Mirror Descent for Shallow Neural Networks in Univariate Regression [24.3887959016133]
ネットワーク幅が無限大になる傾向にある場合、ミラーフローは遅延トレーニングを示し、通常の勾配流と同じ暗黙バイアスを有することを示す。絶対値アクティベーションを持つネットワークの場合、スケールされたポテンシャルを持つミラーフローは、RKHSノルムによって捕捉できない豊富なバイアスのクラスを誘導することを示す。
論文参考訳（メタデータ） (2024-10-05T00:43:09Z)
SE(3) Equivariant Augmented Coupling Flows [16.65770540017618]
正規化フローの結合は、高速なサンプリングと密度評価を可能にする。標準カップリングアーキテクチャは、原子のカルテシアン座標で動く供給フローを妨げている。
論文参考訳（メタデータ） (2023-08-20T20:49:15Z)
Delving into Discrete Normalizing Flows on SO(3) Manifold for Probabilistic Rotation Modeling [30.09829541716024]
我々はSO(3)多様体上の新しい正規化フローを提案する。回転正規化フローは, 条件付きタスクと条件付きタスクの両方において, ベースラインを著しく上回ることを示す。
論文参考訳（メタデータ） (2023-04-08T06:52:02Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文参考訳（メタデータ） (2022-10-24T03:00:01Z)
ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文参考訳（メタデータ） (2022-08-18T16:07:59Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Graphical Normalizing Flows [11.23030807455021]
正規化フローは、ベース分布と一連のニューラルネットワークを組み合わせることで複雑な確率分布をモデル化する。最先端アーキテクチャは、スカラーからベクトルへの可逆関数を持ち上げるために結合と自己回帰変換に依存している。本稿では,所定あるいは学習可能なグラフィカル構造を持つ新しい非可逆変換であるグラフィカル正規化フローを提案する。
論文参考訳（メタデータ） (2020-06-03T21:50:29Z)
Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文参考訳（メタデータ） (2020-02-20T15:13:27Z)
Latent Variable Modelling with Hyperbolic Normalizing Flows [35.1659722563025]
双曲型VAEとユークリッド正規化流に新しい正規化フローを導入する。提案手法は,実世界のグラフデータの再構成とともに,密度推定の性能向上を実現する。
論文参考訳（メタデータ） (2020-02-15T07:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。