論文の概要: Transport Score Climbing: Variational Inference Using Forward KL and Adaptive Neural Transport

• arxiv url: http://arxiv.org/abs/2202.01841v2
• Date: Mon, 7 Feb 2022 05:21:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 12:02:04.230145
• Title: Transport Score Climbing: Variational Inference Using Forward KL and Adaptive Neural Transport
• Title（参考訳）: トランスポートスコアクライミング:前向きKLと適応型ニューラルトランスポートを用いた変分推論
• Authors: Liyi Zhang, Christian A. Naesseth, David M. Blei
• Abstract要約: 変分推論はしばしば、近似分布 q から後 p への「逆」クルベック・リーバー (KL) KL(q||p) を最小化する。 最近の研究は、逆KLとは異なり「前方」KL KL(p||q)は不確実性を過小評価する変動近似を導かない。 本稿では,ハミルトニアンモンテカルロ(HMC)と新しい適応トランスポートマップを用いて,KL(p||q)を最適化するトランスポートスコアクライミング(TSC)を提案する。
• 参考スコア（独自算出の注目度）: 23.934680365902928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inference often minimizes the "reverse" Kullbeck-Leibler (KL) KL(q||p) from the approximate distribution q to the posterior p. Recent work studies the "forward" KL KL(p||q), which unlike reverse KL does not lead to variational approximations that underestimate uncertainty. This paper introduces Transport Score Climbing (TSC), a method that optimizes KL(p||q) by using Hamiltonian Monte Carlo (HMC) and a novel adaptive transport map. The transport map improves the trajectory of HMC by acting as a change of variable between the latent variable space and a warped space. TSC uses HMC samples to dynamically train the transport map while optimizing KL(p||q). TSC leverages synergies, where better transport maps lead to better HMC sampling, which then leads to better transport maps. We demonstrate TSC on synthetic and real data. We find that TSC achieves competitive performance when training variational autoencoders on large-scale data.
• Abstract（参考訳）: 変分推論はしばしば、近似分布 q から後 p への「逆」クルベック・リーバー (KL) KL(q||p) を最小化する。 最近の研究は、逆KLとは異なり「前方」KL KL(p||q)は不確実性を過小評価する変動近似を導かない。 本稿では,ハミルトニアンモンテカルロ(HMC)と新しい適応トランスポートマップを用いて,KL(p||q)を最適化するトランスポートスコアクライミング(TSC)を提案する。 トランスポートマップは、潜在変数空間と歪んだ空間の間の変数の変化として作用することで、HMCの軌道を改善する。 TSCはHMCサンプルを使用してKL(p||q)を最適化しながら輸送マップを動的に訓練する。 TSCはシナジーを活用し、より良い輸送マップはより良いHMCサンプリングをもたらし、より良い輸送マップをもたらす。 合成および実データ上でのTSCの実証を行った。 大規模データを用いた変分オートエンコーダの訓練において,TSCは競争性能が向上することがわかった。

関連論文リスト

• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• Machine Learning based Prediction of Ditching Loads [0.0]
  機械学習を用いて航空機のヒューズラグにおける動的グルーピング負荷の予測手法を提案する。 採用した学習手順は、畳み込みオートエンコーダ(CAE)を用いた空間荷重の再構築と、その後の部分におけるこれらの負荷の過渡的進化という2つの部分に分けられる。
  論文  参考訳（メタデータ） (2024-02-16T14:30:46Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)
• Ensemble transport smoothing. Part I: Unified framework [0.40964539027092906]
  本稿では,輸送型平滑化のための一般的なアンサンブルフレームワークを提案する。 完全に非ガウス的な設定で状態空間モデルの構造をどのように活用するかを詳述する。 本稿では, 非線形アンサンブル搬送スムーサのより深い実装について検討する。
  論文  参考訳（メタデータ） (2022-10-31T01:10:32Z)
• Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
  最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。 MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。 本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
  論文  参考訳（メタデータ） (2022-06-29T22:19:03Z)
• Continual Repeated Annealed Flow Transport Monte Carlo [93.98285297760671]
  我々はCRAFT(Continuous Repeated Annealed Flow Transport Monte Carlo)を提案する。 シーケンシャルなモンテカルロサンプリングと正規化フローを用いた変分推論を組み合わせる。 CRAFTは格子場の実例で驚くほど正確な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-01-31T10:58:31Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Measure Transport with Kernel Stein Discrepancy [5.1360598023779955]
  輸送の測定は、ベイズ的文脈における後方近似の最近のアルゴリズムの基盤となっている。 代わりに、カーネルのスタイン差分(KSD)を最小化することを提案し、輸送マップの集合は、$L2$の意味で密度が高いことを要求している。 関連する後部近似の整合性を確立し, 実験結果から, KSDはKLDと競合し, よりフレキシブルな代替品であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-22T14:55:47Z)
• Markovian Score Climbing: Variational Inference with KL(p||q) [16.661889249333676]
  我々は「排他的クルバック・リーブラ」(KL)KL(p q)を確実に最小化する簡単なアルゴリズムを開発する。 この方法は包含KLの局所最適化に収束する。 Reweighted Wake-Sleep(英語版)やNeural Adaptive Monte Carlo(英語版)のような既存の手法に固有の体系的な誤りに悩まされない。
  論文  参考訳（メタデータ） (2020-03-23T16:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。