論文の概要: IsingFormer: Augmenting Parallel Tempering With Learned Proposals

• arxiv url: http://arxiv.org/abs/2509.23043v1
• Date: Sat, 27 Sep 2025 01:40:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.001454
• Title: IsingFormer: Augmenting Parallel Tempering With Learned Proposals
• Title（参考訳）: IsingFormer: 学習した提案で並列テンパリングを強化
• Authors: Saleh Bunaiyan, Corentin Delacour, Shuvro Chowdhury, Kyle Lee, Kerem Y. Camsari,
• Abstract要約: スピン構成全体を生成可能な平衡サンプルに基づいてトレーニングされた変換器であるIsingFormerを紹介した。 1つのプロポーザルを1つでも注入することで、数千のローカル更新を置き換える平衡時間が大幅に短縮される。 Ising問題として符号化された整数分解に適用されたIsingFormerは、限定されたセミプライム転送でトレーニングされた。
• 参考スコア（独自算出の注目度）: 0.8941476212508733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Markov Chain Monte Carlo (MCMC) underlies both statistical physics and combinatorial optimization, but mixes slowly near critical points and in rough landscapes. Parallel Tempering (PT) improves mixing by swapping replicas across temperatures, yet each replica still relies on slow local updates to change its configuration. We introduce IsingFormer, a Transformer trained on equilibrium samples that can generate entire spin configurations resembling those from the target distribution. These uncorrelated samples are used as proposals for global moves within a Metropolis step in PT, complementing the usual single-spin flips. On 2D Ising models (sampling), IsingFormer reproduces magnetization and free-energy curves and generalizes to unseen temperatures, including the critical region. Injecting even a single proposal sharply reduces equilibration time, replacing thousands of local updates. On 3D spin glasses (optimization), PT enhanced with IsingFormer finds substantially lower-energy states, demonstrating how global moves accelerate search in rugged landscapes. Finally, applied to integer factorization encoded as Ising problems, IsingFormer trained on a limited set of semiprimes transfers successfully to unseen semiprimes, boosting success rates beyond the training distribution. Since factorization is a canonical hard benchmark, this ability to generalize across instances highlights the potential of learning proposals that move beyond single problems to entire families of instances. The IsingFormer demonstrates that Monte Carlo methods can be systematically accelerated by neural proposals that capture global structure, yielding faster sampling and stronger performance in combinatorial optimization.
• Abstract（参考訳）: マルコフ・チェイン・モンテカルロ(MCMC)は統計物理学と組合せ最適化の両方の基礎を成すが、臨界点や荒れた風景にゆっくりと混ざり合っている。 並列テンパリング(PT)は、温度にまたがってレプリカをスワップすることでミキシングを改善するが、各レプリカは構成を変更するためにローカル更新の遅さに依存している。 IsingFormerは平衡サンプルに基づいて訓練されたトランスフォーマーで、ターゲット分布に類似したスピン構成全体を生成できる。 これらの非相関なサンプルは、PTにおけるメトロポリスのステップ内のグローバルな移動の提案として使われ、通常のシングルスピンフリップを補完する。 2D Isingモデル(サンプリング)では、IsingFormerは磁化と自由エネルギー曲線を再現し、臨界領域を含む見えない温度に一般化する。 1つのプロポーザルを1つでも注入することで、数千のローカル更新を置き換える平衡時間が大幅に短縮される。 3Dスピングラス(最適化)では、IsingFormerでPTが強化され、より低エネルギーな状態が発見され、グローバルな動きが荒れ果てた風景での探索をいかに加速するかを実証した。 最後に、Ising問題として符号化された整数分解に適用されたIsingFormerは、未確認の半素数への限定的な半素数転送をトレーニングし、トレーニング分布を超えて成功率を高めた。 因数分解は標準的なハードベンチマークであるため、インスタンスをまたいで一般化する能力は、単一の問題を越えてインスタンスのファミリー全体に移行する学習提案の可能性を強調している。 IsingFormerは、モンテカルロ法がグローバル構造を捉えるニューラルネットワークの提案によって体系的に加速できることを示し、より高速なサンプリングと組合せ最適化のパフォーマンス向上を実現している。

関連論文リスト

• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• SEAFL: Enhancing Efficiency in Semi-Asynchronous Federated Learning through Adaptive Aggregation and Selective Training [26.478852701376294]
  半非同期FLにおけるストラグラーと古いモデルの課題を緩和するために設計された新しいFLフレームワークであるSEAFLを提案する。 Em SEAFLは、現在のグローバルモデルに対する安定性と重要性に基づいて、アグリゲーション中にアップロードされたモデルに重みを動的に割り当てる。 我々は,3つのベンチマークデータセットを用いた広範囲な実験により,SEAFLの有効性を評価する。
  論文  参考訳（メタデータ） (2025-02-22T05:13:53Z)
• ATLAS: Adapting Trajectory Lengths and Step-Size for Hamiltonian Monte Carlo [0.6526824510982802]
  ハミルトニアン・モンテカルロ (HMC) とその自動調整型であるNo U-Turn Sampler (NUTS) は複雑な測地で分布を正確にサンプリングするのに苦労する。 我々は,HMCのステップサイズパラメータを各イテレーションで適用するための戦略を開発し,局所ヘッセン分布の低ランク近似を評価する。 Uターンのない条件をモニタすることで、同様に軌道長を適応させる戦略を組み合わさり、適応型サンプリング器であるATLASを生み出した。
  論文  参考訳（メタデータ） (2024-10-28T22:41:01Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• SIGMA: Scale-Invariant Global Sparse Shape Matching [50.385414715675076]
  非剛体形状の正確なスパース対応を生成するための新しい混合整数プログラミング(MIP)法を提案する。 いくつかの挑戦的な3Dデータセットに対して,スパースな非剛性マッチングの最先端結果を示す。
  論文  参考訳（メタデータ） (2023-08-16T14:25:30Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• From Deterioration to Acceleration: A Calibration Approach to Rehabilitating Step Asynchronism in Federated Optimization [13.755421424240048]
  我々は,局所的な方向を予測的グローバルな方向に調整する新しいアルゴリズムであるtexttFedaGracを提案する。 理論的には、texttFedaGrac は最先端のアプローチよりも収束率の向上を証明している。
  論文  参考訳（メタデータ） (2021-12-17T07:26:31Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)
• AMAGOLD: Amortized Metropolis Adjustment for Efficient Stochastic Gradient MCMC [37.768023232677244]
  ハミルトニアン・モンテカルロ(英語版)(SGHMC)は、連続分布からサンプリングする効率的な方法である。 本稿では、しばしばメトロポリス・ハスティング(M-H)補正を用いてバイアスを除去する2次SG-MCMCアルゴリズム--AMAGOLDを提案する。 我々は, AMAGOLD が減少するステップサイズではなく, 目標分布に収束し, 収束速度が全バッチベースラインよりも遅くなることを証明した。
  論文  参考訳（メタデータ） (2020-02-29T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。