論文の概要: Bayesian inference via sparse Hamiltonian flows

• arxiv url: http://arxiv.org/abs/2203.05723v1
• Date: Fri, 11 Mar 2022 02:36:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 13:18:35.446332
• Title: Bayesian inference via sparse Hamiltonian flows
• Title（参考訳）: 疎ハミルトン流によるベイズ推定
• Authors: Naitong Chen, Zuheng Xu, Trevor Campbell
• Abstract要約: ベイジアンコアセット(Bayesian coreset)は、ベイジアン推論中に全データセットを置き換える、小さな重み付きデータサブセットである。 現在の手法は遅い傾向にあり、コアセットの構築後に二次的な推論ステップが必要であり、データ限界の証拠には限界がない。 これら3つの課題に対処する新しい手法、スパース・ハミルトン流を導入する。
• 参考スコア（独自算出の注目度）: 16.393322369105864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Bayesian coreset is a small, weighted subset of data that replaces the full dataset during Bayesian inference, with the goal of reducing computational cost. Although past work has shown empirically that there often exists a coreset with low inferential error, efficiently constructing such a coreset remains a challenge. Current methods tend to be slow, require a secondary inference step after coreset construction, and do not provide bounds on the data marginal evidence. In this work, we introduce a new method -- sparse Hamiltonian flows -- that addresses all three of these challenges. The method involves first subsampling the data uniformly, and then optimizing a Hamiltonian flow parametrized by coreset weights and including periodic momentum quasi-refreshment steps. Theoretical results show that the method enables an exponential compression of the dataset in a representative model, and that the quasi-refreshment steps reduce the KL divergence to the target. Real and synthetic experiments demonstrate that sparse Hamiltonian flows provide accurate posterior approximations with significantly reduced runtime compared with competing dynamical-system-based inference methods.
• Abstract（参考訳）: ベイジアンコアセット(Bayesian coreset)は、ベイジアン推論中に全データセットを置き換える小さな重み付きデータサブセットであり、計算コストを削減することを目的としている。 過去の研究は、しばしば低い推論誤差を持つコアセットが存在することを実証的に示してきたが、そのようなコアセットを効率的に構築することは依然として困難である。 現在のメソッドは遅い傾向にあり、coresetコンストラクションの後に二次的な推論ステップが必要であり、データの限界的な証拠は提供されない。 本稿では,これら3つの課題すべてに対処する新しい手法であるスパース・ハミルトン・フローを紹介する。 この方法は、まずデータを一様にサブサンプリングし、次にコアセット重みによってパラメータ化されたハミルトン流れを最適化し、周期的な運動量準リフレッシュステップを含む。 理論的には,提案手法は代表モデルにおけるデータセットの指数的圧縮を可能にし,準更新ステップによってターゲットへのKLの偏差が減少することを示す。 実および合成実験により、スパースハミルトニアンフローは、競合する動的系に基づく推論法と比較して、実行時間を大幅に削減した正確な後方近似をもたらすことが示されている。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Conditional Lagrangian Wasserstein Flow for Time Series Imputation [3.914746375834628]
  本研究では,条件付きラグランジアンワッサースタイン流という時系列計算法を提案する。 提案手法は(条件付き)最適輸送理論を利用して,シミュレーションのない方法で確率流を学習する。 実単語データセットを用いた実験結果から,提案手法は時系列計算における競合性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-10-10T02:46:28Z)
• A Metalearned Neural Circuit for Nonparametric Bayesian Inference [4.767884267554628]
  機械学習の分類への応用のほとんどは、バランスの取れたクラスの閉じた集合を前提としている。 これは、クラス発生統計が長い尾の力量分布に従うことがしばしばある実世界と矛盾する。 本研究では,非パラメトリックベイズモデルから誘導バイアスを抽出し,人工ニューラルネットワークに転送する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-24T16:43:17Z)
• Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
  対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:13:50Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• On Divergence Measures for Bayesian Pseudocoresets [28.840995981326028]
  ベイズ擬似コアセット(Bayesian pseudocoreset)は、後方のパラメータが元のデータセットと近似する小さな合成データセットである。 本稿では,擬似コアセット構築法に対する近似として2つの代表的なデータセット蒸留アルゴリズムを提案する。 ベイズ擬コアセット構成におけるそのような発散対策の統一的な視点を提供する。
  論文  参考訳（メタデータ） (2022-10-12T13:45:36Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Nonparametric Bayesian volatility learning under microstructure noise [2.812395851874055]
  市場マイクロ構造騒音下でのボラティリティ学習の課題について検討する。 具体的には、微分方程式からノイズの多い離散時間観測を考察する。 方程式の拡散係数を学習するための新しい計算法を開発した。
  論文  参考訳（メタデータ） (2018-05-15T07:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。