論文の概要: Automatic variational inference with cascading flows

• arxiv url: http://arxiv.org/abs/2102.04801v1
• Date: Tue, 9 Feb 2021 12:44:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 15:14:53.496799
• Title: Automatic variational inference with cascading flows
• Title（参考訳）: カスケード流による自動変動推論
• Authors: Luca Ambrogioni, Gianluigi Silvestri and Marcel van Gerven
• Abstract要約: フォワードパスを埋め込んだ変分プログラムのファミリーを新たに提示する。 カスケードフロープログラムは、前プログラムの条件分布の間に新しく設計されたハイウェイフローアーキテクチャを介する。 我々は,一連の構造的推論問題において,新しい変分プログラムの性能を評価する。
• 参考スコア（独自算出の注目度）: 6.252236971703546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The automation of probabilistic reasoning is one of the primary aims of machine learning. Recently, the confluence of variational inference and deep learning has led to powerful and flexible automatic inference methods that can be trained by stochastic gradient descent. In particular, normalizing flows are highly parameterized deep models that can fit arbitrarily complex posterior densities. However, normalizing flows struggle in highly structured probabilistic programs as they need to relearn the forward-pass of the program. Automatic structured variational inference (ASVI) remedies this problem by constructing variational programs that embed the forward-pass. Here, we combine the flexibility of normalizing flows and the prior-embedding property of ASVI in a new family of variational programs, which we named cascading flows. A cascading flows program interposes a newly designed highway flow architecture in between the conditional distributions of the prior program such as to steer it toward the observed data. These programs can be constructed automatically from an input probabilistic program and can also be amortized automatically. We evaluate the performance of the new variational programs in a series of structured inference problems. We find that cascading flows have much higher performance than both normalizing flows and ASVI in a large set of structured inference problems.
• Abstract（参考訳）: 確率的推論の自動化は、機械学習の主な目的の1つです。 近年,変分推論と深層学習の相違により,確率勾配勾配による学習が可能な,強力で柔軟な自動推論法が生み出されている。 特に、正規化フローは、任意に複雑な後方密度に適合する非常にパラメータ化された深いモデルである。 しかし、正規化フローはプログラムの前方通過を再学習する必要があるため、高度に構造化された確率的プログラムで苦労する。 自動構造化変分推論(ASVI)は、前方通過を埋め込んだ変分プログラムを構築することでこの問題を修正する。 そこで我々は,流れの正規化の柔軟性とASVIの事前埋め込み特性を,カスケードフローと名付けた新しい変分プログラムの族に組み合わせた。 cascading flowプログラムは、新たに設計されたハイウェイフローアーキテクチャを、観測データに向かって制御するなど、前プログラムの条件分布の間に介在させる。 これらのプログラムは入力確率プログラムから自動的に構築でき、自動的に再生することもできる。 我々は,一連の構造的推論問題において,新しい変分プログラムの性能を評価する。 カスケードフローは,多数の構造的推論問題において,流れの正規化とASVIの両方よりもはるかに高い性能を有することがわかった。

関連論文リスト

• Rethinking Variational Inference for Probabilistic Programs with Stochastic Support [23.07504711090434]
  本稿では,確率的プログラムのための新しい変分推論(VI)アプローチであるSDVI(Support Decomposition Vari Inference)を導入する。 SDVIは、プログラムを静的サポート付きサブプログラムに分割し、個別のサブガイドを自動的に作成する。 この分解は適切な変分族の構築に大いに役立ち、推論性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-11-01T15:38:51Z)
• Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
  本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。 これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。 我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2023-10-25T13:23:08Z)
• Smoothing Methods for Automatic Differentiation Across Conditional Branches [0.0]
  スムース解釈(SI)は、プログラムの出力とガウス核との畳み込みを近似し、原理的にその出力を滑らかにする。 SIと自動微分(AD)を組み合わせることで、スムーズなプログラムの勾配を効率的に計算する。 本稿では,ADとサンプリングを組み合わせたスムーズなプログラムの勾配を推定することにより,基礎となる仮定を回避する新しいモンテカルロ推定法を提案する。
  論文  参考訳（メタデータ） (2023-10-05T15:08:37Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Distributional GFlowNets with Quantile Flows [73.73721901056662]
  Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。 本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。 GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
  論文  参考訳（メタデータ） (2023-02-11T22:06:17Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• Using Differentiable Programming for Flexible Statistical Modeling [0.0]
  微分可能プログラミングは近年、コンピュータプログラムの勾配を取るためのパラダイムとして多くの関心を集めている。 微分可能プログラミングがモデルの自動微分による単純な勾配に基づく最適化をいかに実現できるかを示す。 これにより、より単純なベンチマークモデルを上回る時間的プレッシャー下でモデルをすばやくプロトタイプすることができます。
  論文  参考訳（メタデータ） (2020-12-07T12:33:49Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Automatic structured variational inference [12.557212589634112]
  自動構造化変分推論(ASVI)を導入する。 ASVIは、構造化変動族を構築するための完全に自動化された方法である。 私たちは、ASVIは他の一般的なアプローチと比較して、パフォーマンスが明らかに改善されていることに気付きました。
  論文  参考訳（メタデータ） (2020-02-03T10:52:30Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。