論文の概要: Hamiltonian Adaptive Importance Sampling
- arxiv url: http://arxiv.org/abs/2209.13716v1
- Date: Tue, 27 Sep 2022 22:00:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 16:10:17.371833
- Title: Hamiltonian Adaptive Importance Sampling
- Title(参考訳): ハミルトン適応的重要度サンプリング
- Authors: Ali Mousavi, Reza Monsefi, and V\'ictor Elvira
- Abstract要約: 本稿では,新しいハミルトン適応的重要度サンプリング(HAIS)手法を紹介する。
HAISは2段階の適応プロセスを実装し、並列HMCチェーンは各イテレーションで協調する。
最先端アルゴリズムの高次元問題において、大幅な性能向上を実現している。
- 参考スコア(独自算出の注目度): 9.937177877192198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Importance sampling (IS) is a powerful Monte Carlo (MC) methodology for
approximating integrals, for instance in the context of Bayesian inference. In
IS, the samples are simulated from the so-called proposal distribution, and the
choice of this proposal is key for achieving a high performance. In adaptive IS
(AIS) methods, a set of proposals is iteratively improved. AIS is a relevant
and timely methodology although many limitations remain yet to be overcome,
e.g., the curse of dimensionality in high-dimensional and multi-modal problems.
Moreover, the Hamiltonian Monte Carlo (HMC) algorithm has become increasingly
popular in machine learning and statistics. HMC has several appealing features
such as its exploratory behavior, especially in high-dimensional targets, when
other methods suffer. In this paper, we introduce the novel Hamiltonian
adaptive importance sampling (HAIS) method. HAIS implements a two-step adaptive
process with parallel HMC chains that cooperate at each iteration. The proposed
HAIS efficiently adapts a population of proposals, extracting the advantages of
HMC. HAIS can be understood as a particular instance of the generic layered AIS
family with an additional resampling step. HAIS achieves a significant
performance improvement in high-dimensional problems w.r.t. state-of-the-art
algorithms. We discuss the statistical properties of HAIS and show its high
performance in two challenging examples.
- Abstract(参考訳): 重要サンプリング (is) は、例えばベイズ推論の文脈で積分を近似するための強力なモンテカルロ法である。
isでは、サンプルはいわゆる提案分布からシミュレートされ、この提案の選択は高いパフォーマンスを達成するための鍵となる。
adaptive is (ais) メソッドでは、一連の提案が反復的に改善される。
AISは関連性がありタイムリーな方法論であるが、高次元および多モード問題における次元性の呪いなど、多くの制限がまだ克服されていない。
さらに、ハミルトンモンテカルロ(HMC)アルゴリズムは、機械学習と統計学でますます人気が高まっている。
HMCには探索的行動、特に他の方法が苦しむ場合の高次元的目標など、いくつかの魅力的な特徴がある。
本稿では,ハミルトニアン適応的重要度サンプリング(HAIS)法について紹介する。
HAISは2段階の適応プロセスを実装し、並列HMCチェーンは各イテレーションで協調する。
提案したHAISは,HMCの利点を抽出し,効率よく提案する。
HAISは、追加のサンプリングステップで、一般的な階層型AISファミリーの特別な例として理解することができる。
HAISは、最先端のアルゴリズムのような高次元問題において、大幅な性能向上を実現している。
haisの統計特性を考察し,その高い性能を2つの難解な例で示す。
関連論文リスト
- Exact and efficient solutions of the LMC Multitask Gaussian Process
model [30.38539960317671]
コリージョン化線形モデル(英: Linear Model of Co- Regionalization、LMC)は、回帰や分類のためのマルチタスクガウス過程の非常に一般的なモデルである。
最近の研究によると、ある条件下では、モデルの潜在過程は切り離され、そのプロセスの数でのみ線形となる複雑さが生じる。
ここでは、これらの結果を拡張し、LCCの効率的な正確な計算に必要な条件はノイズモデルに関する軽度の仮説である、という最も一般的な仮定から示している。
論文 参考訳(メタデータ) (2023-10-18T15:16:24Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - Numerical Methods for Convex Multistage Stochastic Optimization [86.45244607927732]
最適化プログラミング(SP)、最適制御(SOC)、決定プロセス(MDP)に焦点を当てる。
凸多段マルコフ問題の解決の最近の進歩は、動的プログラミング方程式のコスト対ゴー関数の切断面近似に基づいている。
切削平面型法は多段階問題を多段階的に扱えるが、状態(決定)変数は比較的少ない。
論文 参考訳(メタデータ) (2023-03-28T01:30:40Z) - Parallel MCMC Without Embarrassing Failures [19.429985676081618]
MCMCはデータパーティションで定義された(サブ)後続体上で並列に実行される。
効率的ではあるが、このフレームワークは後部サンプリングの品質に非常に敏感である。
我々はこの問題を緩和するための新しい組み合わせ戦略を提案する。
論文 参考訳(メタデータ) (2022-02-22T20:17:46Z) - Multi-objective Asynchronous Successive Halving [10.632606255280649]
本稿では,非同期半減期 (ASHA) を多目的 (MO) 設定に拡張するアルゴリズムを提案する。
実験分析の結果,MO ASHAはMO HPOを大規模に実行可能であることがわかった。
我々のアルゴリズムは、この地域における将来の研究の新たなベースラインを確立する。
論文 参考訳(メタデータ) (2021-06-23T19:39:31Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳(メタデータ) (2021-02-23T20:22:56Z) - Spatial Monte Carlo Integration with Annealed Importance Sampling [0.45687771576879593]
AISとSMCIを組み合わせたIsingモデルの期待値を評価するための新しい手法を提案する。
提案手法は高温領域と低温領域の両方で効率良く実行できる。
論文 参考訳(メタデータ) (2020-12-21T09:26:40Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳(メタデータ) (2020-09-28T15:22:24Z) - Differentiable Expected Hypervolume Improvement for Parallel
Multi-Objective Bayesian Optimization [11.956059322407437]
我々は、期待されるハイパー改善(EHVI)を用いた多目的BOのプログラミングモデルとハードウェアアクセラレーションの最近の進歩を活用する。
我々は、EHVIを並列な制約付き評価設定に拡張する取得関数であるq-Expected Hyper Improvement (qEHVI) の新規な定式化を導出する。
実験により,qEHVIは実運用シナリオの多くで計算可能であり,壁面時間のごく一部で最先端の多目的BOアルゴリズムより優れていることが示された。
論文 参考訳(メタデータ) (2020-06-09T06:57:47Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳(メタデータ) (2020-02-20T18:56:18Z) - Supervised Hyperalignment for multi-subject fMRI data alignment [81.8694682249097]
本稿では,MVP解析における機能的アライメントを改善するために,SHA(Supervised Hyperalignment)手法を提案する。
マルチオブジェクトデータセットの実験では、SHA法は最大19%の性能がマルチクラス問題に対して達成されている。
論文 参考訳(メタデータ) (2020-01-09T09:17:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。