論文の概要: Nonlocal Monte Carlo via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2508.10520v1
• Date: Thu, 14 Aug 2025 10:45:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.275787
• Title: Nonlocal Monte Carlo via Reinforcement Learning
• Title（参考訳）: 強化学習による非局所モンテカルロ
• Authors: Dmitrii Dobrynin, Masoud Mohseni, John Paul Strachan,
• Abstract要約: 非平衡非局所モンテカルロ (NMC) アルゴリズムは不均一な温度分布を利用する。 我々は,従来設計されていたNMCの非局所的遷移政策を訓練するために,深層強化学習(RL)を採用している。 構成空間探索のエネルギー変化を観察することで、結果の解法を学習できることを実証する。
• 参考スコア（独自算出の注目度）: 0.15268600910098268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing or sampling complex cost functions of combinatorial optimization problems is a longstanding challenge across disciplines and applications. When employing family of conventional algorithms based on Markov Chain Monte Carlo (MCMC) such as simulated annealing or parallel tempering, one assumes homogeneous (equilibrium) temperature profiles across input. This instance independent approach was shown to be ineffective for the hardest benchmarks near a computational phase transition when the so-called overlap-gap-property holds. In these regimes conventional MCMC struggles to unfreeze rigid variables, escape suboptimal basins of attraction, and sample high-quality and diverse solutions. In order to mitigate these challenges, Nonequilibrium Nonlocal Monte Carlo (NMC) algorithms were proposed that leverage inhomogeneous temperature profiles thereby accelerating exploration of the configuration space without compromising its exploitation. Here, we employ deep reinforcement learning (RL) to train the nonlocal transition policies of NMC which were previously designed phenomenologically. We demonstrate that the resulting solver can be trained solely by observing energy changes of the configuration space exploration as RL rewards and the local minimum energy landscape geometry as RL states. We further show that the trained policies improve upon the standard MCMC-based and nonlocal simulated annealing on hard uniform random and scale-free random 4-SAT benchmarks in terms of residual energy, time-to-solution, and diversity of solutions metrics.
• Abstract（参考訳）: 組合せ最適化問題の複雑なコスト関数を最適化またはサンプリングすることは、分野やアプリケーションにまたがる長年にわたる課題である。 マルコフ・チェイン・モンテカルロ (MCMC) に基づく従来のアルゴリズムの族を用いる場合、入力間の等質(平衡)温度分布を仮定する。 このインスタンス独立なアプローチは、いわゆるオーバーラップギャップ・プロパティが保持されるとき、計算相転移に近い最も難しいベンチマークでは効果がないことが示されている。 これらの体制では、MCMCは厳密な変数を解き放つのに苦労し、アトラクションの最適下流域を逃れ、高品質で多様な解をサンプリングする。 これらの課題を軽減するために、非平衡非局所モンテカルロ (NMC) アルゴリズムが提案され、不均一な温度分布を利用して、その利用を妥協することなく構成空間の探索を加速した。 そこで我々は,NMCの非局所的遷移政策の学習に深部強化学習(RL)を用いる。 得られた解法は、構成空間探索のエネルギー変化をRL報酬として観測し、局所最小エネルギー地形幾何学をRL状態として観察することによってのみ訓練できることを実証する。 さらに, MCMCをベースとした標準の非局所的アニーリングを, 残留エネルギー, 解法時間, 解法の多様性の観点から, 均一なランダムおよびスケールフリーな4-SATベンチマークで改善することを示した。

関連論文リスト

• Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems [0.7499722271664147]
  SGDライクなアルゴリズムの力学は、適切に選択された温度のメトロポリスモンテカルロと非常によく似ていることを示す。 この等価性により、モンテカルロアルゴリズムの性能と限界に関する結果を用いて、SGDライクなアルゴリズムのミニバッチサイズを最適化できる。
  論文  参考訳（メタデータ） (2023-09-11T09:34:44Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)
• Nonequilibrium Monte Carlo for unfreezing variables in hard combinatorial optimization [1.1783108699768]
  適応的勾配自由戦略を開発することにより,非局所非平衡モンテカルロ(NMC)アルゴリズムの量子インスパイアされたファミリーを導入する。 我々は、特殊解法と汎用解法の両方に対して、大幅な高速化と堅牢性を観察する。
  論文  参考訳（メタデータ） (2021-11-26T17:45:32Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
  我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。 問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。 我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
  論文  参考訳（メタデータ） (2020-06-18T17:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。