論文の概要: Fine-Tuning Small Reasoning Models for Quantum Field Theory

• arxiv url: http://arxiv.org/abs/2604.18936v1
• Date: Tue, 21 Apr 2026 00:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.549898
• Title: Fine-Tuning Small Reasoning Models for Quantum Field Theory
• Title（参考訳）: 量子場理論のための微調整小共振モデル
• Authors: Nathaniel S. Woodward, Zhiqi Gao, Yurii Kvasiuk, Kendrick M. Smith, Frederic Sala, Moritz Münchmeyer,
• Abstract要約: 我々は、理論物理学に特化した小さな推論モデルについて、初めて学術的な微調整研究を行う。 我々は、arXivと標準教育資源から得られたヒト適応問題の収集と合わせて2500以上の合成問題を発生させた。 本研究では,RLおよびSFTにおける推論誤差の進展を解明するために,モデルチェーンの微調整前後におけるモデルチェーンの広範な解析を行う。
• 参考スコア（独自算出の注目度）: 12.573129157671831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the growing application of Large Language Models (LLMs) to theoretical physics, there is little academic exploration into how domain-specific physics reasoning ability develops while training these models. To investigate this, we perform the first academic fine-tuning study of small (7B-parameter) reasoning models dedicated specifically to theoretical physics. Because open-source verifiable training data required to train such capabilities is scarce, we developed a robust data generation pipeline that can both create synthetic problems and make existing human-authored problems suitable for model training. Selecting Quantum Field Theory (QFT) as our primary domain, we generated over 2,500 synthetic problems alongside a curated collection of human-adapted problems sourced from arXiv and standard pedagogical resources. We conduct both Reinforcement Learning (RL) and Supervised Fine-Tuning (SFT) experiments, benchmarking performance gains as well as generalization to other physics domains. We perform an extensive analysis of model chains-of-though before and after fine-tuning, to understand how reasoning errors evolve during RL and SFT. Finally, we publicly release our data pipeline, verifiable QFT training data, and $\sim$200M tokens of QFT reasoning traces.
• Abstract（参考訳）: 理論物理学へのLarge Language Models (LLMs) の適用が増加しているにもかかわらず、これらのモデルを訓練しながらドメイン固有の物理推論能力がどのように発達するかについての学術的な研究はほとんどない。 そこで本研究では,理論物理学に特化した小型(7Bパラメータ)推論モデルについて,初めて学術的な微調整を行った。 このような能力のトレーニングに必要な、オープンソースの検証可能なトレーニングデータが不足しているため、我々は、合成問題を発生させ、既存の人為的な問題をモデルトレーニングに適したものにする、堅牢なデータ生成パイプラインを開発しました。 量子場理論 (QFT) を主領域として, arXiv と標準教育資源から得られたヒト適応問題と合わせて2,500以上の合成問題を発生させた。 我々はRL(Reinforcement Learning)とSFT(Supervised Fine-Tuning)の両方の実験を行い、性能向上のベンチマークと他の物理学領域への一般化を行った。 本研究では,RLおよびSFTにおける推論エラーの進行過程を理解するために,モデルチェーンの微調整前後におけるモデルチェーンの広範な解析を行う。 最後に、データパイプライン、検証可能なQFTトレーニングデータ、およびQFT推論トレースの$\sim$200Mトークンを公開します。

関連論文リスト

• ArXiv-to-Model: A Practical Study of Scientific LM Training [0.16921396880325776]
  本稿では、生のarXivソースから直接科学言語モデルを訓練するケーススタディを提案する。 トレーニングの安定性、スケーリングの動作、データ収量損失、インフラストラクチャのボトルネックを分析します。 この研究は、スクラッチから小さな科学言語モデルをトレーニングするための、工学的な基礎と透明な説明を提供する。
  論文  参考訳（メタデータ） (2026-02-19T11:47:30Z)
• PhysProver: Advancing Automatic Theorem Proving for Physics [17.074001092418793]
  本稿では、物理学領域における形式定理の証明を強化するための最初のアプローチを提案する。 PhysLeanからサンプリングされた定理と、予想に基づく形式データ生成パイプラインによって生成されるデータで構成されている。 トレーニングパイプラインでは、強力なオープンソースの数学的定理証明器であるDeepSeek-Prover-V2-7Bを活用し、RLVR(Reinforcement Learning with Verifiable Rewards)を使用して、モデルのPhysProverをトレーニングします。
  論文  参考訳（メタデータ） (2026-01-22T08:05:32Z)
• Quantum-Aware Generative AI for Materials Discovery: A Framework for Robust Exploration Beyond DFT Biases [0.0]
  材料発見のための量子認識型生成AIフレームワークを提案する。 我々は、低忠実度予測と高忠実度予測の分岐を定量化し、ターゲットとする頑健な能動学習ループを実装した。 以上の結果から,高分散領域における潜在的安定候補の同定に成功し,3～5倍の精度向上が得られた。
  論文  参考訳（メタデータ） (2025-12-13T11:17:21Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Physics-Informed Weakly Supervised Learning for Interatomic Potentials [17.165117198519248]
  機械学習型原子間ポテンシャル(MLIP)のトレーニングのための物理インフォームド・弱教師付きアプローチを導入する。 我々は、様々なベースラインモデルとベンチマークデータセットに対して、エネルギーと力の誤差を(しばしば2倍以下に)減らすことを示した。 我々のアプローチは、スパースで高精度なアブ・イニシアチブデータに基づく基礎モデルの微調整を改善する。
  論文  参考訳（メタデータ） (2024-07-23T12:49:04Z)
• Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
  本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。 実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-10T13:23:05Z)
• Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
  軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。 ニューラル微分方程式モデルに基づく新しい手法を提案する。 我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
  論文  参考訳（メタデータ） (2022-07-21T12:11:18Z)
• Training a First-Order Theorem Prover from Synthetic Data [50.23600875138756]
  自動定理証明に機械学習を適用する際の大きな課題は、トレーニングデータの不足である。 本稿では,人間のデータを公理によらずに,純粋に合成生成定理をトレーニングする手法を提案する。 私達の神経証明者は時間および検索のステップのこの総合的なデータで最先端のE-proverを上回っます。
  論文  参考訳（メタデータ） (2021-03-05T17:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。