論文の概要: Nonlocal Monte Carlo via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2508.10520v1
• Date: Thu, 14 Aug 2025 10:45:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.275787
• Title: Nonlocal Monte Carlo via Reinforcement Learning
• Title（参考訳）: 強化学習による非局所モンテカルロ
• Authors: Dmitrii Dobrynin, Masoud Mohseni, John Paul Strachan,
• Abstract要約: 非平衡非局所モンテカルロ (NMC) アルゴリズムは不均一な温度分布を利用する。 我々は,従来設計されていたNMCの非局所的遷移政策を訓練するために,深層強化学習(RL)を採用している。 構成空間探索のエネルギー変化を観察することで、結果の解法を学習できることを実証する。
• 参考スコア（独自算出の注目度）: 0.15268600910098268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing or sampling complex cost functions of combinatorial optimization problems is a longstanding challenge across disciplines and applications. When employing family of conventional algorithms based on Markov Chain Monte Carlo (MCMC) such as simulated annealing or parallel tempering, one assumes homogeneous (equilibrium) temperature profiles across input. This instance independent approach was shown to be ineffective for the hardest benchmarks near a computational phase transition when the so-called overlap-gap-property holds. In these regimes conventional MCMC struggles to unfreeze rigid variables, escape suboptimal basins of attraction, and sample high-quality and diverse solutions. In order to mitigate these challenges, Nonequilibrium Nonlocal Monte Carlo (NMC) algorithms were proposed that leverage inhomogeneous temperature profiles thereby accelerating exploration of the configuration space without compromising its exploitation. Here, we employ deep reinforcement learning (RL) to train the nonlocal transition policies of NMC which were previously designed phenomenologically. We demonstrate that the resulting solver can be trained solely by observing energy changes of the configuration space exploration as RL rewards and the local minimum energy landscape geometry as RL states. We further show that the trained policies improve upon the standard MCMC-based and nonlocal simulated annealing on hard uniform random and scale-free random 4-SAT benchmarks in terms of residual energy, time-to-solution, and diversity of solutions metrics.
• Abstract（参考訳）: 組合せ最適化問題の複雑なコスト関数を最適化またはサンプリングすることは、分野やアプリケーションにまたがる長年にわたる課題である。 マルコフ・チェイン・モンテカルロ (MCMC) に基づく従来のアルゴリズムの族を用いる場合、入力間の等質(平衡)温度分布を仮定する。 このインスタンス独立なアプローチは、いわゆるオーバーラップギャップ・プロパティが保持されるとき、計算相転移に近い最も難しいベンチマークでは効果がないことが示されている。 これらの体制では、MCMCは厳密な変数を解き放つのに苦労し、アトラクションの最適下流域を逃れ、高品質で多様な解をサンプリングする。 これらの課題を軽減するために、非平衡非局所モンテカルロ (NMC) アルゴリズムが提案され、不均一な温度分布を利用して、その利用を妥協することなく構成空間の探索を加速した。 そこで我々は,NMCの非局所的遷移政策の学習に深部強化学習(RL)を用いる。 得られた解法は、構成空間探索のエネルギー変化をRL報酬として観測し、局所最小エネルギー地形幾何学をRL状態として観察することによってのみ訓練できることを実証する。 さらに, MCMCをベースとした標準の非局所的アニーリングを, 残留エネルギー, 解法時間, 解法の多様性の観点から, 均一なランダムおよびスケールフリーな4-SATベンチマークで改善することを示した。

関連論文リスト

• A scalable flow-based approach to mitigate topological freezing [34.54607280864912]
  マルコフチェインモンテカルロシミュレーションからトポロジカルアーティファクトを除去するフローベース戦略を提案する。 この戦略は、非平衡モンテカルロ更新を局所的で頑丈な欠陥層に置き換える正規化フロー(SNF)に基づいている。 欠点SNFは、同等のコストで非平衡法を再現するよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2026-01-28T15:40:46Z)
• Gradient-Informed Monte Carlo Fine-Tuning of Diffusion Models for Low-Thrust Trajectory Design [0.0]
  循環三体問題における宇宙船軌道のグローバル探索は、複雑な客観的な景観と多くの局所的なミニマによって特徴づけられる。 局所最適解の近傍でサポートされた非正規分布からのサンプリングとして問題を定式化することは、連鎖モンテカルロ法をデプロイする機会を与える。 本研究では,従来の自己教師付き拡散モデル微調整フレームワークを拡張し,勾配インフォームドマルコフ連鎖モンテカルロを用いた。
  論文  参考訳（メタデータ） (2025-12-09T15:21:11Z)
• Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems [0.7499722271664147]
  SGDライクなアルゴリズムの力学は、適切に選択された温度のメトロポリスモンテカルロと非常によく似ていることを示す。 この等価性により、モンテカルロアルゴリズムの性能と限界に関する結果を用いて、SGDライクなアルゴリズムのミニバッチサイズを最適化できる。
  論文  参考訳（メタデータ） (2023-09-11T09:34:44Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)
• Nonequilibrium Monte Carlo for unfreezing variables in hard combinatorial optimization [1.1783108699768]
  適応的勾配自由戦略を開発することにより,非局所非平衡モンテカルロ(NMC)アルゴリズムの量子インスパイアされたファミリーを導入する。 我々は、特殊解法と汎用解法の両方に対して、大幅な高速化と堅牢性を観察する。
  論文  参考訳（メタデータ） (2021-11-26T17:45:32Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
  我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。 問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。 我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
  論文  参考訳（メタデータ） (2020-06-18T17:18:02Z)
• Targeted free energy estimation via learned mappings [66.20146549150475]
  自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。 目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
  論文  参考訳（メタデータ） (2020-02-12T11:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。