論文の概要: Improving multiple-try Metropolis with local balancing

• arxiv url: http://arxiv.org/abs/2211.11613v1
• Date: Mon, 21 Nov 2022 16:14:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 22:20:23.843004
• Title: Improving multiple-try Metropolis with local balancing
• Title（参考訳）: ローカルバランシングによるマルチトライメトロポリスの改善
• Authors: Philippe Gagnon, Florian Maire, Giacomo Zanella
• Abstract要約: MTM(Multi-try Metropolis)はマルコフ連鎖モンテカルロ法である。 我々は,この重み関数が高次元の病理行動を引き起こすことを理論的にも経験的にも示している。 そこで本稿では,Zanella (2020) の局所平衡分布に類似した重み関数の利用を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple-try Metropolis (MTM) is a popular Markov chain Monte Carlo method with the appealing feature of being amenable to parallel computing. At each iteration, it samples several candidates for the next state of the Markov chain and randomly selects one of them based on a weight function. The canonical weight function is proportional to the target density. We show both theoretically and empirically that this weight function induces pathological behaviours in high dimensions, especially during the convergence phase. We propose to instead use weight functions akin to the locally-balanced proposal distributions of Zanella (2020), thus yielding MTM algorithms that do not exhibit those pathological behaviours. To theoretically analyse these algorithms, we study the high-dimensional performance of ideal schemes that can be think of as MTM algorithms which sample an infinite number of candidates at each iteration, as well as the discrepancy between such schemes and the MTM algorithms which sample a finite number of candidates. Our analysis unveils a strong distinction between the convergence and stationary phases: in the former, local balancing is crucial and effective to achieve fast convergence, while in the latter, the canonical and novel weight functions yield similar performance. Numerical experiments include an application in precision medicine involving a computationally expensive forward model, which makes the use of parallel computing within MTM iterations beneficial.
• Abstract（参考訳）: マルチトライメトロポリス(multiple-try metropolis、mtm)はマルコフ連鎖モンテカルロ法であり、並列コンピューティングに適応できるという特徴を持つ。 各イテレーションで、マルコフ連鎖の次の状態の候補をサンプリングし、重み関数に基づいてそれらの1つをランダムに選択する。 正準重み関数は対象密度に比例する。 我々は, この重み関数が高次元, 特に収束相における病理学的挙動を誘導することを示す。 そこで本稿では,Zanella (2020) の局所平衡分布に類似した重み関数を用いることにより,これらの病態を示さないMDMアルゴリズムを提案する。 これらのアルゴリズムを理論的に解析するために、各イテレーションで無限個の候補をサンプリングするMTMアルゴリズムと、有限個の候補をサンプリングするMTMアルゴリズムとの相違を考慮に入れた理想スキームの高次元性能について検討する。 前者では局所的バランスが重要であり, 高速収束を実現する上で有効であるのに対し, 後者では標準的および新規な重み関数が同様の性能を発揮する。 数値実験には、計算に高価なフォワードモデルを含む精密医療の応用が含まれており、MTMイテレーションにおける並列コンピューティングの利用が有用である。

関連論文リスト

• Sample-Efficient Multi-Agent RL: An Optimization Perspective [103.35353196535544]
  一般関数近似に基づく汎用マルコフゲーム(MG)のためのマルチエージェント強化学習(MARL)について検討した。 汎用MGに対するマルチエージェントデカップリング係数(MADC)と呼ばれる新しい複雑性尺度を導入する。 我々のアルゴリズムは既存の研究に匹敵するサブリニアな後悔を与えることを示す。
  論文  参考訳（メタデータ） (2023-10-10T01:39:04Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems [0.7499722271664147]
  SGDライクなアルゴリズムの力学は、適切に選択された温度のメトロポリスモンテカルロと非常によく似ていることを示す。 この等価性により、モンテカルロアルゴリズムの性能と限界に関する結果を用いて、SGDライクなアルゴリズムのミニバッチサイズを最適化できる。
  論文  参考訳（メタデータ） (2023-09-11T09:34:44Z)
• SpreadNUTS -- Moderate Dynamic Extension of Paths for No-U-Turn Sampling & Partitioning Visited Regions [0.0]
  本稿では,no-U-turn sampler (NUTS) として知られる特定のハミルトンモンテカルロ (HMC) アルゴリズムの変更を紹介する。 NUTS は NUTS よりも早くサンプル空間を探索することを目的としており、真分布への収束が NUTS より高速なサンプリング器を提供する。
  論文  参考訳（メタデータ） (2023-07-09T05:00:25Z)
• PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [62.51015395213579]
  2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。 提案アルゴリズムは粒子の動きを利用して$ilon$-mixed Nash平衡のランダム戦略の更新を表現する。
  論文  参考訳（メタデータ） (2023-03-02T05:08:15Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors [8.11978827493967]
  MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。 重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。 いくつかのモデルファミリで実践的な実装を示す。
  論文  参考訳（メタデータ） (2020-06-22T15:26:59Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)
• Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions [0.0]
  スライスサンプリング (Slice Sampling) は、最小ハンドチューニングで目標分布の特性に適応するマルコフ連鎖モンテカルロアルゴリズムとして登場した。 本稿では,初期長さ尺度を適応的に調整することで,そのような困難を回避できるアルゴリズムであるEnsemble Slice Sampling(ESS)を紹介する。 これらのアフィン不変アルゴリズムは簡単に構築でき、手作業で調整する必要がなく、並列計算環境で容易に実装できる。
  論文  参考訳（メタデータ） (2020-02-14T19:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。