論文の概要: AutoStep: Locally adaptive involutive MCMC

• arxiv url: http://arxiv.org/abs/2410.18929v3
• Date: Tue, 20 May 2025 23:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:57.029491
• Title: AutoStep: Locally adaptive involutive MCMC
• Title（参考訳）: AutoStep: 局所適応型インバーティヴMCMC
• Authors: Tiange Liu, Nikola Surjanovic, Miguel Biron-Lattes, Alexandre Bouchard-Côté, Trevor Campbell,
• Abstract要約: 本稿では,対象分布の局所的幾何に適応した各イテレーションで適切なステップサイズを選択する,新しいインボリューティブMCMC法であるAutoStep MCMCを提案する。 本稿では,AutoStep MCMCと最先端の手法が競合することを示す。
• 参考スコア（独自算出の注目度）: 51.186543293659376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many common Markov chain Monte Carlo (MCMC) kernels can be formulated using a deterministic involutive proposal with a step size parameter. Selecting an appropriate step size is often a challenging task in practice; and for complex multiscale targets, there may not be one choice of step size that works well globally. In this work, we address this problem with a novel class of involutive MCMC methods -- AutoStep MCMC -- that selects an appropriate step size at each iteration adapted to the local geometry of the target distribution. We prove that under mild conditions AutoStep MCMC is $\pi$-invariant, irreducible, and aperiodic, and obtain bounds on expected energy jump distance and cost per iteration. Empirical results examine the robustness and efficacy of our proposed step size selection procedure, and show that AutoStep MCMC is competitive with state-of-the-art methods in terms of effective sample size per unit cost on a range of challenging target distributions.
• Abstract（参考訳）: 多くの一般的なマルコフ連鎖モンテカルロ(MCMC)カーネルは、ステップサイズのパラメータを持つ決定論的インボリューティブな提案を用いて定式化することができる。 複雑なマルチスケールのターゲットでは、世界規模でうまく機能するステップサイズの選択肢がひとつも存在しません。 本研究では, 対象分布の局所的幾何に適応した各イテレーションにおいて, 適切なステップサイズを選択する, 新規なインボリューティブMCMCMC法(AutoStep MCMC)を用いてこの問題に対処する。 穏やかな条件下では、AutoStep MCMC は$\pi$-invariant, irreducible, and a periodic であることが証明され、1イテレーションあたりのエネルギージャンプ距離とコストの有界性が得られる。 実験により,提案したステップサイズ選択手法の堅牢性と有効性を検討した結果,AutoStep MCMCは,課題のある目標分布に対して,ユニットコスト当たりの有効サンプルサイズの観点から,最先端の手法と競合することを示した。

関連論文リスト

• PATS: Process-Level Adaptive Thinking Mode Switching [53.53401063490537]
  現在の大言語モデル(LLM)は、通常、難易度に関わらず、すべての質問に対して、単純または複雑に固定された推論戦略を採用する。 このようなタスクと推論プロセスの複雑さの変化の無視は、パフォーマンスと効率のバランスを損なう。 既存の手法では, 難易度が異なる問題に対処するために, 学習不要な高速スロー思考システムを導入しようとするが, 厳密な解レベルの戦略調整によって制限される。 プロセスレベル適応思考モードスイッチング(PATS)という新しい推論パラダイムを提案し,各ステップの難易度に基づいてLLMが推論戦略を動的に調整し,そのバランスを最適化する。
  論文  参考訳（メタデータ） (2025-05-25T17:58:50Z)
• Tuning Sequential Monte Carlo Samplers via Greedy Incremental Divergence Minimization [21.206714676842317]
  本稿では,SMCサンプリング器のMarkovカーネルをチューニングするための一般的な適応フレームワークを提案する。 本稿では,Langevin Monte Carlo (LMC) などのカーネルに適用可能な勾配およびチューニング不要なアルゴリズムを提案する。 我々の実装では、数回のバニラSMC実行を犠牲にして、チューニングされたパラメータの完全なテキストスケジュールを得ることができる。
  論文  参考訳（メタデータ） (2025-03-19T21:35:02Z)
• AutoMix: Automatically Mixing Language Models [62.51238143437967]
  大規模言語モデル(LLM)は、さまざまなサイズと構成のクラウドAPIプロバイダから利用可能になった。 より小さなLMからの出力の近似精度に基づいて,クエリを大規模LMに戦略的にルーティングする手法であるAutomixを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:39Z)
• SIGMA: Scale-Invariant Global Sparse Shape Matching [50.385414715675076]
  非剛体形状の正確なスパース対応を生成するための新しい混合整数プログラミング(MIP)法を提案する。 いくつかの挑戦的な3Dデータセットに対して,スパースな非剛性マッチングの最先端結果を示す。
  論文  参考訳（メタデータ） (2023-08-16T14:25:30Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics [64.72260320446158]
  マルコフジャンプ線形系に対する制御器の合成法を提案する。 本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。 本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
  論文  参考訳（メタデータ） (2022-12-01T17:36:30Z)
• Toward Unlimited Self-Learning MCMC with Parallel Adaptive Annealing [4.156535226615696]
  近年,機械学習モデルを用いてマルコフ連鎖モンテカルロ法(MCMC)を高速化するために,自己学習モンテカルロ法(SLMC)が提案されている。 潜在生成モデルでは、SLMC法は自己相関の少ない効率的なモンテカルロ更新を実現する。 しかし、SLMC法は、訓練データが得られにくいマルチモーダル分布に直接適用することは困難である。
  論文  参考訳（メタデータ） (2022-11-25T10:53:53Z)
• Policy Gradient With Serial Markov Chain Reasoning [10.152838128195468]
  我々は,強化学習における意思決定を反復的推論プロセスとして行う新しい枠組みを導入する。 従来のRLには本質的に欠落しているいくつかの有用な特性があることを示す。 提案アルゴリズムは,人気の高いMujocoおよびDeepMind Controlベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-13T06:15:29Z)
• Lite Unified Modeling for Discriminative Reading Comprehension [68.39862736200045]
  本稿では,多様な差別的MRCタスクを同期的に扱うために,POS強化反復協調ネットワーク(POI-Net)を提案する。 私たちのライト統一設計は、エンコーダコンポーネントとデコーダコンポーネントの両方で、モデルに大きな改善をもたらします。 4つの識別的MCCベンチマークによる評価結果から,本モデルの有効性と適用性について一貫した評価結果を得た。
  論文  参考訳（メタデータ） (2022-03-26T15:47:19Z)
• Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference [4.339931151475307]
  Vari Combinatorial Monte Carlo (VCSMC) は複雑な構造について学習するための変分探索を確立する強力なフレームワークである。 本稿では,VCSMC と CSMC が,従来のタスクよりも高い確率空間を探索できることを示す。
  論文  参考訳（メタデータ） (2021-05-31T19:44:24Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions [0.0]
  スライスサンプリング (Slice Sampling) は、最小ハンドチューニングで目標分布の特性に適応するマルコフ連鎖モンテカルロアルゴリズムとして登場した。 本稿では,初期長さ尺度を適応的に調整することで,そのような困難を回避できるアルゴリズムであるEnsemble Slice Sampling(ESS)を紹介する。 これらのアフィン不変アルゴリズムは簡単に構築でき、手作業で調整する必要がなく、並列計算環境で容易に実装できる。
  論文  参考訳（メタデータ） (2020-02-14T19:00:12Z)
• Newtonian Monte Carlo: single-site MCMC meets second-order gradient methods [1.6042895233470602]
  MCMC (Single-site Markov Chain Monte Carlo) はMCMCの変種であり、状態空間内の1つの座標が各ステップで修正される。 ニュートンモンテカルロ(Newtonian Monte Carlo, NMC)は、ターゲット密度の第1次および第2次勾配を解析してMCMC収束を改善する手法である。 NMCは、各次元のステップサイズを自動的にスケールするために2階勾配を使用する最適化においてニュートン・ラフソン更新と似ている。
  論文  参考訳（メタデータ） (2020-01-15T21:40:50Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。