論文の概要: Bayesian inference via sparse Hamiltonian flows
- arxiv url: http://arxiv.org/abs/2203.05723v1
- Date: Fri, 11 Mar 2022 02:36:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-14 13:18:35.446332
- Title: Bayesian inference via sparse Hamiltonian flows
- Title(参考訳): 疎ハミルトン流によるベイズ推定
- Authors: Naitong Chen, Zuheng Xu, Trevor Campbell
- Abstract要約: ベイジアンコアセット(Bayesian coreset)は、ベイジアン推論中に全データセットを置き換える、小さな重み付きデータサブセットである。
現在の手法は遅い傾向にあり、コアセットの構築後に二次的な推論ステップが必要であり、データ限界の証拠には限界がない。
これら3つの課題に対処する新しい手法、スパース・ハミルトン流を導入する。
- 参考スコア(独自算出の注目度): 16.393322369105864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A Bayesian coreset is a small, weighted subset of data that replaces the full
dataset during Bayesian inference, with the goal of reducing computational
cost. Although past work has shown empirically that there often exists a
coreset with low inferential error, efficiently constructing such a coreset
remains a challenge. Current methods tend to be slow, require a secondary
inference step after coreset construction, and do not provide bounds on the
data marginal evidence. In this work, we introduce a new method -- sparse
Hamiltonian flows -- that addresses all three of these challenges. The method
involves first subsampling the data uniformly, and then optimizing a
Hamiltonian flow parametrized by coreset weights and including periodic
momentum quasi-refreshment steps. Theoretical results show that the method
enables an exponential compression of the dataset in a representative model,
and that the quasi-refreshment steps reduce the KL divergence to the target.
Real and synthetic experiments demonstrate that sparse Hamiltonian flows
provide accurate posterior approximations with significantly reduced runtime
compared with competing dynamical-system-based inference methods.
- Abstract(参考訳): ベイジアンコアセット(Bayesian coreset)は、ベイジアン推論中に全データセットを置き換える小さな重み付きデータサブセットであり、計算コストを削減することを目的としている。
過去の研究は、しばしば低い推論誤差を持つコアセットが存在することを実証的に示してきたが、そのようなコアセットを効率的に構築することは依然として困難である。
現在のメソッドは遅い傾向にあり、coresetコンストラクションの後に二次的な推論ステップが必要であり、データの限界的な証拠は提供されない。
本稿では,これら3つの課題すべてに対処する新しい手法であるスパース・ハミルトン・フローを紹介する。
この方法は、まずデータを一様にサブサンプリングし、次にコアセット重みによってパラメータ化されたハミルトン流れを最適化し、周期的な運動量準リフレッシュステップを含む。
理論的には,提案手法は代表モデルにおけるデータセットの指数的圧縮を可能にし,準更新ステップによってターゲットへのKLの偏差が減少することを示す。
実および合成実験により、スパースハミルトニアンフローは、競合する動的系に基づく推論法と比較して、実行時間を大幅に削減した正確な後方近似をもたらすことが示されている。
関連論文リスト
- A Metalearned Neural Circuit for Nonparametric Bayesian Inference [4.767884267554628]
機械学習の分類への応用のほとんどは、バランスの取れたクラスの閉じた集合を前提としている。
これは、クラス発生統計が長い尾の力量分布に従うことがしばしばある実世界と矛盾する。
本研究では,非パラメトリックベイズモデルから誘導バイアスを抽出し,人工ニューラルネットワークに転送する手法を提案する。
論文 参考訳(メタデータ) (2023-11-24T16:43:17Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Canonical and Noncanonical Hamiltonian Operator Inference [0.0]
正準および非正準ハミルトニアン系の非侵入的・構造保存モデル還元法について述べる。
演算子推論の考え方に基づいて、この手法は証明的に収束し、与えられたスナップショットデータとハミルトニアンシステムのグレーボックス知識を直線的に解く。
論文 参考訳(メタデータ) (2023-04-13T04:45:25Z) - Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse
Problems [64.29491112653905]
本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。
具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。
提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
論文 参考訳(メタデータ) (2023-03-10T07:42:49Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Black-box Coreset Variational Inference [13.892427580424444]
本稿では,基本モデルに対する変分コアセットの原理的適用を可能にするため,基本モデルに対するブラックボックス変分推論フレームワークを提案する。
本手法を教師あり学習問題に適用し,データ要約と推論のための文献における既存手法と比較する。
論文 参考訳(メタデータ) (2022-11-04T11:12:09Z) - On Divergence Measures for Bayesian Pseudocoresets [28.840995981326028]
ベイズ擬似コアセット(Bayesian pseudocoreset)は、後方のパラメータが元のデータセットと近似する小さな合成データセットである。
本稿では,擬似コアセット構築法に対する近似として2つの代表的なデータセット蒸留アルゴリズムを提案する。
ベイズ擬コアセット構成におけるそのような発散対策の統一的な視点を提供する。
論文 参考訳(メタデータ) (2022-10-12T13:45:36Z) - Hessian Averaging in Stochastic Newton Methods Achieves Superlinear
Convergence [69.65563161962245]
ニュートン法を用いて,滑らかで強凸な目的関数を考える。
最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
論文 参考訳(メタデータ) (2022-04-20T07:14:21Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳(メタデータ) (2022-04-18T17:53:44Z) - Enhance Curvature Information by Structured Stochastic Quasi-Newton
Methods [26.712594117460817]
非線型関数の有限和を最小化する2次計算法を考える。
真のヘッセン行列は、しばしば安価な部分と高価な部分の組み合わせであるため、構造化された準ニュートン収束法を提案する。
提案手法は最先端の手法と非常に競合する。
論文 参考訳(メタデータ) (2020-06-17T02:16:51Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳(メタデータ) (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。