論文の概要: Embedded-model flows: Combining the inductive biases of model-free deep
learning and explicit probabilistic modeling
- arxiv url: http://arxiv.org/abs/2110.06021v1
- Date: Tue, 12 Oct 2021 14:12:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-13 19:17:17.508114
- Title: Embedded-model flows: Combining the inductive biases of model-free deep
learning and explicit probabilistic modeling
- Title(参考訳): 埋め込みモデルフロー:モデルなしディープラーニングの帰納バイアスと明示的確率的モデリングを組み合わせる
- Authors: Gianluigi Silvestri, Emily Fertig, Dave Moore, Luca Ambrogioni
- Abstract要約: ドメイン固有の帰納バイアスを埋め込んだ構造層を用いた汎用変換を交互に行う組込みモデルフローを提案する。
EMFは,多モード性,階層的結合性,連続性などの望ましい特性を誘導するのに有効であることを示す。
実験では、この手法が一般的な構造的推論問題において最先端の手法より優れていることを示す。
- 参考スコア(独自算出の注目度): 8.405013085269976
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalizing flows have shown great success as general-purpose density
estimators. However, many real world applications require the use of
domain-specific knowledge, which normalizing flows cannot readily incorporate.
We propose embedded-model flows(EMF), which alternate general-purpose
transformations with structured layers that embed domain-specific inductive
biases. These layers are automatically constructed by converting user-specified
differentiable probabilistic models into equivalent bijective transformations.
We also introduce gated structured layers, which allow bypassing the parts of
the models that fail to capture the statistics of the data. We demonstrate that
EMFs can be used to induce desirable properties such as multimodality,
hierarchical coupling and continuity. Furthermore, we show that EMFs enable a
high performance form of variational inference where the structure of the prior
model is embedded in the variational architecture. In our experiments, we show
that this approach outperforms state-of-the-art methods in common structured
inference problems.
- Abstract(参考訳): 正規化フローは汎用密度推定器として大きな成功を収めている。
しかし、現実世界のアプリケーションの多くは、フローの正規化が容易に組み込めないドメイン固有の知識を必要とする。
ドメイン固有の帰納的バイアスを埋め込んだ構造層と汎用変換を交互に行う組込みモデルフロー(emf)を提案する。
これらの層は、ユーザの特定した微分可能確率モデルを等価な単射変換に変換することで自動的に構築される。
また、データ統計を捉えるのに失敗するモデルのパーツをバイパスできるゲート構造層も導入しています。
マルチモダリティ,階層結合,連続性といった望ましい特性を誘導するためにemfが使用できることを示す。
さらに、EMFは、前モデルの構造が変動アーキテクチャに埋め込まれているような、変動推論の高性能な形式を可能にすることを示す。
本研究では,本手法が共通構造推論問題において,最先端手法よりも優れていることを示す。
関連論文リスト
- Uncertainty quantification and out-of-distribution detection using
surjective normalizing flows [46.51077762143714]
本稿では,深層ニューラルネットワークモデルにおける分布外データセットの探索的正規化フローを用いた簡単なアプローチを提案する。
本手法は, 流通外データと流通内データとを確実に識別できることを示す。
論文 参考訳(メタデータ) (2023-11-01T09:08:35Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳(メタデータ) (2023-09-22T20:15:37Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳(メタデータ) (2023-01-23T15:18:54Z) - Normalizing Flow with Variational Latent Representation [20.038183566389794]
正規化フロー(NF)の実用性能を向上させるため,変分潜在表現に基づく新しいフレームワークを提案する。
この考え方は、標準正規潜在変数をより一般的な潜在変数に置き換えることであり、変分ベイズを通して共同で学習される。
得られた手法は,複数のモードでデータ分布を生成する標準的な正規化フローアプローチよりもはるかに強力である。
論文 参考訳(メタデータ) (2022-11-21T16:51:49Z) - Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである
MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。
一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
論文 参考訳(メタデータ) (2021-08-18T09:00:24Z) - Deep Conditional Transformation Models [0.0]
特徴集合上の結果変数条件の累積分布関数(CDF)を学習することは依然として困難である。
条件変換モデルは、条件付きCDFの大規模なクラスをモデル化できる半パラメトリックなアプローチを提供する。
我々は,新しいネットワークアーキテクチャを提案し,異なるモデル定義の詳細を提供し,適切な制約を導出する。
論文 参考訳(メタデータ) (2020-10-15T16:25:45Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳(メタデータ) (2020-09-01T17:20:08Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳(メタデータ) (2020-04-08T09:07:11Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳(メタデータ) (2020-03-06T23:11:13Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳(メタデータ) (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。