論文の概要: HyperMC: Multi-Fidelity Hyperparameter Tuning for Stochastic Gradient MCMC
- arxiv url: http://arxiv.org/abs/2609.02138v1
- Date: Wed, 02 Sep 2026 05:45:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.097392
- Title: HyperMC: Multi-Fidelity Hyperparameter Tuning for Stochastic Gradient MCMC
- Title（参考訳）: HyperMC:確率勾配MCMCのための多次元ハイパーパラメータチューニング
- Abstract要約: HyperMCはモンテカルロ推論のための多要素チューニングフレームワークである。
本稿では、ランダムな候補生成に対する感度を低減し、ノイズの多い有限予算評価を行うRobust HyperMCを紹介する。
実験の結果,HyperMCはMAMBAと比較して後方近似や予測校正を改善することが示された。
- 参考スコア（独自算出の注目度）: 7.863377960778178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic gradient Markov chain Monte Carlo (SGMCMC) methods enable scalable Bayesian inference, but their performance depends strongly on hyperparameters such as the step size, mini-batch size, and number of leapfrog steps. Since most SGMCMC algorithms lack a Metropolis-Hastings acceptance rate, standard acceptance-based tuning methods are not directly applicable. We propose HyperMC, a multi-fidelity tuning framework that combines Hyperband-style resource allocation with kernel Stein discrepancy (KSD) evaluation. By running multiple successive-halving brackets, HyperMC balances broad exploration of a continuous hyperparameter space with increasingly accurate evaluation of promising configurations under a fixed computational budget. We further introduce Robust HyperMC, which uses global grid initialization followed by elite-guided local refinement to reduce sensitivity to random candidate generation and noisy finite-budget evaluations. Under suitable approximation and concentration conditions for the estimated KSD, we establish that the successive-halving component selects a near-optimal configuration among the sampled candidates with high probability and derive a sufficient computational budget for successful selection. Experiments on logistic regression, probabilistic matrix factorization, and Bayesian neural networks show that HyperMC improves posterior approximation or predictive calibration relative to MAMBA, grid search, and heuristic baselines, while Robust HyperMC yields more stable and reproducible tuning results.
- Abstract（参考訳）: 確率勾配マルコフ連鎖モンテカルロ法(SGMCMC)はスケーラブルなベイズ推定を実現するが、その性能はステップサイズ、ミニバッチサイズ、跳躍ステップの数などハイパーパラメータに強く依存する。
ほとんどのSGMCMCアルゴリズムはMetropolis-Hastingsの受け入れ率を欠いているため、標準の受け入れベースのチューニング手法は直接適用できない。
我々は,ハイパーバンド方式のリソースアロケーションとカーネル・スタイン不一致(KSD)評価を組み合わせた多要素チューニングフレームワークHyperMCを提案する。
連続するブラケットを複数回実行することで、HyperMCは、固定された計算予算の下での有望な構成のより正確な評価と、連続したハイパーパラメータ空間の広い探索のバランスをとる。
さらに,グローバルグリッドの初期化とエリート誘導による局所改良により,ランダムな候補生成に対する感度が低下し,ノイズの多い有限予算評価を行うRobust HyperMCを紹介する。
推定KSDに対する適切な近似と濃度条件の下で、連続半減算成分は、高い確率でサンプリングされた候補のうちのほぼ最適構成を選択し、選択を成功させるために十分な計算予算を導出する。
対数回帰、確率行列分解、ベイズニューラルネットワークの実験により、HyperMCはMAMBA、グリッドサーチ、ヒューリスティックベースラインに対する後部近似や予測キャリブレーションを改善し、Robust HyperMCはより安定で再現可能なチューニング結果を得ることが示された。
関連論文リスト
- The Role of Gradient Modification in Heavy-Tailed Nonconvex Stochastic Min-Max Optimization [50.59470683896735]
min-max最適化は、現代の機械学習に応用されているため、注目を集めている。
我々は、勾配降下(SGDA)の包括的理論を提供する。
我々は,Stoc-GDAMとStoc-TRmaxという新たなクリッピングフリーアルゴリズムを開発し,グラディエントクリッピングを使わずに,目標精度への最適依存を実現する。
論文 参考訳（メタデータ） (2026-09-05T12:49:28Z) - Fast Model Selection and Stable Optimization for Softmax-Gated Multinomial-Logistic Mixture of Experts Models [40.216463162163976]
我々は,ソフトマックスゲート型マルチミリ波観測用MoEのバッチ最小化最適化アルゴリズムを開発した。
また,条件密度推定とパラメータ回復のための有限サンプル率も証明した。
生物学的タンパク質-タンパク質相互作用予測実験は、完全なパイプラインを検証する。
論文 参考訳（メタデータ） (2026-02-08T14:45:41Z) - Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。
そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。
理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-02-18T23:31:20Z) - Adaptive sparseness for correntropy-based robust regression via
automatic relevance determination [17.933460891374498]
我々は,最大コレントロピー基準(MCC)に基づくロバスト回帰アルゴリズムと自動妥当性判定(ARD)手法をベイズフレームワークに統合する。
我々は、MCCから固有のノイズ仮定を用いて、明示的な可能性関数を導出し、ARD前の最大後部推定(MAP)を実現する。
MCC-ARDはL1正規化MCCよりも優れた予測性能と特徴選択能力を実現している。
論文 参考訳（メタデータ） (2023-01-31T20:23:32Z) - Formal Controller Synthesis for Markov Jump Linear Systems with
Uncertain Dynamics [64.72260320446158]
マルコフジャンプ線形系に対する制御器の合成法を提案する。
本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。
本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
論文 参考訳（メタデータ） (2022-12-01T17:36:30Z) - Online Probabilistic Model Identification using Adaptive Recursive MCMC [8.465242072268019]
適応再帰的マルコフ連鎖モンテカルロ法(ARMCMC)を提案する。
モデルパラメータの確率密度関数全体を計算しながら、従来のオンライン手法の欠点を解消する。
本研究では,ソフト曲げアクチュエータとハント・クロスリー動的モデルを用いてパラメータ推定を行った。
論文 参考訳（メタデータ） (2022-10-23T02:06:48Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Stochastic Gradient MCMC with Multi-Armed Bandit Tuning [2.2559617939136505]
本稿では,SGMCMCハイパーパラメータを調整し,後部近似の精度を最大化するバンディットに基づく新しいアルゴリズムを提案する。
シミュレーションと実データの両方で実験を行い,本手法が広範囲の応用分野に適用可能であることを確認した。
論文 参考訳（メタデータ） (2021-05-27T11:00:31Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
論文 参考訳（メタデータ） (2020-10-03T16:22:15Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳（メタデータ） (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。