論文の概要: Scaling Autoregressive Models for Lattice Thermodynamics

• arxiv url: http://arxiv.org/abs/2603.14695v1
• Date: Mon, 16 Mar 2026 01:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.972432
• Title: Scaling Autoregressive Models for Lattice Thermodynamics
• Title（参考訳）: 格子熱力学における自己回帰モデルのスケーリング
• Authors: Xiaochen Du, Juno Nam, Sulin Liu, Rafael Gómez-Bombarelli,
• Abstract要約: マルコフ連鎖モンテカルロサンプリングは、緩やかな収束と、相転移付近の急激な減速に悩まされる。 既存の自己回帰モデル(ARM)は、一定の順序で構成を生成し、高いメモリとトレーニングコストを発生させる。 本稿では、格子サイトの任意のサブセットに条件付けすることで、柔軟に構成を生成する任意の順序ARMと、1つのフォワードパスにおける任意の部分構成の確率を近似するモデル(MAM)を組み合わせたフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 5.904448014233719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting how materials behave under realistic conditions requires understanding the statistical distribution of atomic configurations on crystal lattices, a problem central to alloy design, catalysis, and the study of phase transitions. Traditional Markov-chain Monte Carlo sampling suffers from slow convergence and critical slowing down near phase transitions, motivating the use of generative models that directly learn the thermodynamic distribution. Existing autoregressive models (ARMs), however, generate configurations in a fixed sequential order and incur high memory and training costs, limiting their applicability to realistic systems. Here, we develop a framework combining any-order ARMs, which generate configurations flexibly by conditioning on any known subset of lattice sites, with marginalization models (MAMs), which approximate the probability of any partial configuration in a single forward pass and substantially reduce memory requirements. This combination enables models trained on smaller lattices to be reused for sampling larger systems, while supporting expressive Transformer architectures with lattice-aware positional encodings at manageable computational cost. We demonstrate that Transformer-based any-order MAMs achieve more accurate free energies than multilayer perceptron-based ARMs on both the two-dimensional Ising model and CuAu alloys, faithfully capturing phase transitions and critical behavior. Overall, our framework scales from $10 \times 10$ to $20 \times 20$ Ising systems and from $2 \times 2 \times 4$ to $4 \times 4 \times 8$ CuAu supercells at reduced computational cost compared to conventional sampling methods.
• Abstract（参考訳）: 物質が現実的な条件下でどのように振る舞うかを予測するには、結晶格子上の原子配置の統計的分布、合金設計、触媒、相転移の研究などを理解する必要がある。 伝統的なマルコフ連鎖モンテカルロサンプリングは、熱力学分布を直接学習する生成モデルの使用を動機として、緩やかな収束と相転移近傍の臨界減速に悩まされている。 しかし、既存の自己回帰モデル(ARM)は、一定の順序で構成を生成し、高いメモリとトレーニングコストを発生させ、現実的なシステムに適用性を制限する。 本稿では、格子サイトの任意の既知のサブセットに条件付けすることで、柔軟に構成を生成する任意の順序ARMと、1つのフォワードパスにおける任意の部分構成の確率を近似し、メモリ要求を大幅に低減する限界化モデル(MAM)を組み合わせたフレームワークを開発する。 この組み合わせにより、より小さな格子で訓練されたモデルは、より大きなシステムをサンプリングするために再利用でき、また、格子対応の位置エンコーディングを管理可能な計算コストでサポートしながら、表現力のあるトランスフォーマーアーキテクチャをサポートする。 2次元IsingモデルとCuAu合金の両方の多層パーセプトロンベースARMよりも高精度な自由エネルギーを実現し,相転移と臨界挙動を忠実に捉えた。 全体として、我々のフレームワークは10ドル10ドルから20ドル20ドルIsingシステムから2ドル2ドル4ドルから4ドル8ドルCuAuスーパーセルまで、従来のサンプリング手法と比較して計算コストの削減が図られている。

関連論文リスト

• FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment [20.331469310989956]
  重要順序付きネスト成分は事前訓練されたモデルから抽出でき、利用可能な計算予算に基づいて選択的に活性化される。 このアプローチは、各予算のスクラッチからトレーニングすることなく、コストとパフォーマンスの間の優雅なトレードオフを提供する"トレインオンス、デプロイ、どこでも"のパラダイムを可能にします。
  論文  参考訳（メタデータ） (2026-02-02T19:01:40Z)
• Equilibrium Matching: Generative Modeling with Implicit Energy-Based Models [52.74448905289362]
  EqMは、平衡力学の観点から構築された生成モデリングフレームワークである。 時間条件の速度を統一された平衡景観に置き換えることで、EqMは流れとエネルギーベースのモデルの間により緊密な橋渡しを提供する。
  論文  参考訳（メタデータ） (2025-10-02T17:59:06Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Flow Matching at Scale: A Machine Learning Framework for Efficient Large-Size Sampling of Many-Body Systems [0.0]
  マルコフ連鎖モンテカルロ法のスケーリング制限を克服するために,フローマッチングに基づく機械学習フレームワークを提案する。 2次元XYモデルでは,1つのネットワークがスパース温度点で小さな格子からのみ構成を訓練し,より大規模なシステムに対して信頼性の高いサンプルを生成する。
  論文  参考訳（メタデータ） (2025-08-21T07:29:25Z)
• Efficient dataset construction using active learning and uncertainty-aware neural networks for plasma turbulent transport surrogate models [0.0]
  本研究は,不確実性を考慮したアーキテクチャを用いてモデル生成のための効率的なデータセットを構築するための実証実験である。 この戦略はトカマク核融合プラズマ中のプラズマ乱流輸送問題、特にQuaLiKiz準静電ジャイロキネティック乱流輸送符号に再び適用された。 45回のアクティブな学習イテレーションで、102ドルの小さな初期トレーニングセットから104ドルの最終セットに移行し、結果のモデルは0.8のF_1ドルの分類パフォーマンス、独立したテストセットで0.75ドルの回帰パフォーマンスに達した。
  論文  参考訳（メタデータ） (2025-07-21T18:15:12Z)
• TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
  拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。 本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。 先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
  論文  参考訳（メタデータ） (2023-11-27T12:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。