論文の概要: Scalable Physics-Inspired Transformers for Spin Glasses

• arxiv url: http://arxiv.org/abs/2606.22984v2
• Date: Tue, 23 Jun 2026 03:17:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.507806
• Title: Scalable Physics-Inspired Transformers for Spin Glasses
• Title（参考訳）: スピングラス用スケーラブル物理誘起変圧器
• Authors: Lu Zhong, Wenli Duan, Jing Liu, Pan Zhang, Ying Tang,
• Abstract要約: 我々は、解釈可能なスパースアテンションとスピン調整された位置埋め込みを備えた物理インスピレーション型変圧器を開発した。 バニラ変動自己回帰ネットワーク上で最大2桁のスピードアップを達成する。 完全な確率分布、自由エネルギー、シェリントン・カークパトリックの温度と2Dまたは3Dエドワーズ・アンダーソンのモデルとの重なり合う統計を解くことができる。
• 参考スコア（独自算出の注目度）: 10.411943837080921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient sampling of the Boltzmann distribution in frustrated spin glasses is central to statistical mechanics and combinatorial optimization. Despite advances in machine-learning-based approaches, two issues persist: limited understanding of why variational models fail to benefit from increased scale, unlike the monotonic scaling law of large language models; and high computational cost on large systems that negates advantages over classical sampling methods. Here, we develop a physics-inspired transformer with interpretable sparse attention and spin-tailored positional embeddings to address these challenges. By further leveraging FlashAttention for parallel ancestral sampling, it achieves up to two orders of magnitude speedup over vanilla variational autoregressive networks, enabling neural-network simulations of spin-glass systems to unprecedented sizes on a single GPU. It can resolve full probability distributions, free energies, and overlap statistics across temperatures, for Sherrington-Kirkpatrick and 2D or 3D Edwards-Anderson models, where existing machine-learning methods encounter limitations at certain temperatures. This framework thus establishes a scalable paradigm for frustrated spin-glass systems.
• Abstract（参考訳）: フラストレーションされたスピングラスにおけるボルツマン分布の効率的なサンプリングは、統計力学と組合せ最適化の中心である。 機械学習ベースのアプローチの進歩にもかかわらず、大きな言語モデルのモノトニックスケーリング法とは異なり、なぜ変分モデルがスケールの恩恵を受けないのかという限定的な理解と、古典的なサンプリング法よりも利点を否定する大規模システムに対する高い計算コストが続く。 本稿では、これらの課題に対処するために、解釈可能なスパースアテンションとスピン調整された位置埋め込みを備えた物理インスピレーション変換器を開発する。 さらにFlashAttentionを並列祖先サンプリングに活用することにより、バニラ変動自己回帰ネットワーク上で最大2桁のスピードアップを実現し、スピングラスシステムのニューラルネットワークシミュレーションを1つのGPU上で前例のないサイズにすることができる。 Sherrington-Kirkpatrickと2Dまたは3D Edwards-Andersonモデルでは、既存の機械学習手法は一定の温度で制限を受ける。 この枠組みは、フラストレーションのあるスピングラスシステムのためのスケーラブルなパラダイムを確立する。

関連論文リスト

• Variational Autoregressive Networks with probability priors [0.0]
  ニューラルネットワークベースのサンプリングのようなディープラーニングアプローチも、モデルのトレーニングの難しさという、もうひとつの深刻な問題に直面している。 本稿では,本モデルに物理先行要素を組み込むことにより,性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2026-05-15T14:54:30Z)
• PnP-Corrector: A Universal Correction Framework for Coupled Spatiotemporal Forecasting [62.22445401483844]
  既存の手法は複雑なエラーのボトルネックによって厳しく制約されている。 我々は-Cast-Corrector (Plug-and-Play Corrector)と呼ばれる普遍的なフレームワークを提案する。 本手法は,結合予測システムの長期安定性を著しく向上させる。
  論文  参考訳（メタデータ） (2026-05-09T13:12:33Z)
• From Black Hole to Galaxy: Neural Operator: Framework for Accretion and Feedback Dynamics [70.27068115318681]
  ニューラルベースの「サブグリッドブラックホール」を導入し、小さな局所力学を学習し、直接シミュレーションに組み込む。 微細な進化の大きなスピードアップにより、我々は、降着駆動のフィードバックで固有の変動を捉え、中心ブラックホールと銀河スケールのガスの動的結合を可能にした。
  論文  参考訳（メタデータ） (2025-12-01T11:47:49Z)
• Quantized Visual Geometry Grounded Transformer [67.15451442018258]
  本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。 球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。 また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
  論文  参考訳（メタデータ） (2025-09-25T15:17:11Z)
• Optimizing Temperature Distributions for Training Neural Quantum States using Parallel Tempering [0.0]
  温度最適化は変分アルゴリズムの成功率を大幅に向上させることができることを示す。 我々はこれを、制限されたボルツマンマシンとフィードフォワードネットワークという2つの異なるニューラルネットワークを用いて実証する。
  論文  参考訳（メタデータ） (2024-10-30T13:48:35Z)
• Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
  完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。 LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。 我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-05-01T23:20:27Z)
• A Probability Density Theory for Spin-Glass Systems [0.0]
  任意の次元、相互作用、局所場を持つスピングラス系の連続確率密度理論を開発する。 スピングラスモデルの物理計算式を幾何学的にエンコードする方法を示す。 我々は、She-Kirkrrington (SK) モデル、ランダムな ErdHos-R'enyi グラフ上のスピン、制限されたボルツマンマシンなど、多くのスピングラスモデルに適用する。
  論文  参考訳（メタデータ） (2020-01-03T18:43:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。