論文の概要: SIXO: Smoothing Inference with Twisted Objectives

• arxiv url: http://arxiv.org/abs/2206.05952v1
• Date: Mon, 13 Jun 2022 07:46:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 13:03:14.823934
• Title: SIXO: Smoothing Inference with Twisted Objectives
• Title（参考訳）: SIXO: ツイストオブジェクトによるスムーズな推論
• Authors: Dieterich Lawson, Allan Ravent\'os, Andrew Warrington, Scott Linderman
• Abstract要約: SIXOは平滑な分布を近似する対象を学習する手法である。 次に、これらの学習対象とSMCを用いて、モデル学習と提案学習の変動目標を定義する。
• 参考スコア（独自算出の注目度）: 8.049531918823758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential Monte Carlo (SMC) is an inference algorithm for state space models that approximates the posterior by sampling from a sequence of intermediate target distributions. The target distributions are often chosen to be the filtering distributions, but these ignore information from future observations, leading to practical and theoretical limitations in inference and model learning. We introduce SIXO, a method that instead learns targets that approximate the smoothing distributions, incorporating information from all observations. The key idea is to use density ratio estimation to fit functions that warp the filtering distributions into the smoothing distributions. We then use SMC with these learned targets to define a variational objective for model and proposal learning. SIXO yields provably tighter log marginal lower bounds and offers significantly more accurate posterior inferences and parameter estimates in a variety of domains.
• Abstract（参考訳）: シークエンシャルモンテカルロ (Sequential Monte Carlo, SMC) は、状態空間モデルに対する推論アルゴリズムであり、中間ターゲット分布の列からサンプリングすることで後部を近似する。 対象の分布はしばしばフィルタリング分布として選択されるが、これらは将来の観測からの情報を無視し、推論とモデル学習の実践的および理論的制限をもたらす。 SIXOは、スムーズな分布を近似するターゲットを学習し、全ての観測結果から情報を取り入れる手法である。 重要なアイデアは、フィルタ分布を平滑化分布に警告する関数を適合させるために密度比推定を使用することである。 次に、これらの学習対象とSMCを用いて、モデルと提案学習の変動目標を定義する。 SIXO は対数境界の下限を確実に狭くし、様々な領域でより正確な後方推測とパラメータ推定を提供する。

関連論文リスト

• Debiasing Guidance for Discrete Diffusion with Sequential Monte Carlo [10.948453531321032]
  本稿では,ターゲット分布から不均一に生成するSequential Monte Carloアルゴリズムを提案する。 我々は、低次元分布、制御された画像、テキスト生成に対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-02-10T00:27:54Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• An analysis of the noise schedule for score-based generative models [7.180235086275926]
  スコアベース生成モデル(SGM)は、目標からのノイズ摂動サンプルのみを用いてスコア関数を学習することにより、目標データ分布を推定することを目的としている。 近年の文献では、ターゲットと推定分布の誤差を評価し、KL(Kulback-Leibler)の発散とワッサーシュタイン距離を通じて生成品質を測ることに重点を置いている。 対象と推定分布のKL分散の上限を時間依存ノイズスケジュールによって明確に設定する。
  論文  参考訳（メタデータ） (2024-02-07T08:24:35Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Learning with Stochastic Orders [25.795107089736295]
  高次元分布の学習は、しばしば、積分確率メトリクス(IPMs)による明示的な可能性モデリングまたは暗黙的なモデリングによって行われる。 我々はIPMsationalの代替として使用できる確率測度間のChoquet-Toland距離を導入する。 また、変動支配基準(VDC)を導入し、支配制約のある確率測度を学習する。
  論文  参考訳（メタデータ） (2022-05-27T00:08:03Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Elements of Sequential Monte Carlo [21.1067925312595]
  統計学と機械学習の主な問題は、確率分布と予測を計算することである。 主な課題は、これらの難解な期待を近似することである。 シーケンシャルモンテカルロ (Sequence Monte Carlo, SMC) は、近似推論のためのランダムサンプリングに基づく手法のクラスである。
  論文  参考訳（メタデータ） (2019-03-12T09:28:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。