論文の概要: PHYRD: A Living Benchmark for Reproducing and Extending Theoretical Physics Research
- arxiv url: http://arxiv.org/abs/2610.32575v1
- Date: Fri, 23 Oct 2026 13:03:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.519051
- Title: PHYRD: A Living Benchmark for Reproducing and Extending Theoretical Physics Research
- Title（参考訳）: PHYRD:理論物理学研究の再現と拡張のためのリビングベンチマーク
- Abstract要約: 63 Reproduce と 43 Discover 問題を用いた理論物理学推論のための生きたベンチマーク PHYRD を紹介する。
FormulaForestは、参照ソリューションとサブクエションレベルのルーリックを使ってタスクを構築する。
OpenAIが開発したベンチマークであるFrontierScienceでは、Qwen-35B-A3Bモデルの精度を61%から72%に引き上げている。
- 参考スコア（独自算出の注目度）: 19.577334721654385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models and agents have shown significant power in advanced physical research. In this paper, We introduce PHYRD, a living benchmark for theoretical-physics reasoning with 63 Reproduce and 43 Discover problems. Reproduce tests derivation of published results; Discover tests consequences of modified theoretical conditions. FormulaForest constructs the tasks with reference solutions and subquestion-level rubrics. Across five models, whole-problem accuracy ranges from 49.21% to 68.25% on Reproduce and from 18.60% to 74.42% on closed-book Discover. With tools, four models complete more Discover problems, but conceptual errors and missing arguments persist. Besides, our experimental results demonstrate the value of FormulaForest as synthetic data. On FrontierScience, a benchmark developed by OpenAI, it raises the accuracy of a Qwen-35B-A3B model from 61% to 72%.
- Abstract（参考訳）: 大規模言語モデルとエージェントは、高度な物理研究において大きな力を示している。
本稿では,63 Reproduce と 43 Discover を併用した理論物理学推論のための生きたベンチマーク PHYRD を紹介する。
再生産試験は、公表された結果から導かれる; 発見試験は、修正された理論条件の結果をもたらす。
FormulaForestは、参照ソリューションとサブクエションレベルのルーリックを使ってタスクを構築する。
5つのモデルで、全プロブレムの精度はReproduceで49.21%から68.25%、クローズドブックで18.60%から74.42%まで変化している。
ツールでは、4つのモデルがより発見的な問題を完成させるが、概念的なエラーと議論の欠如は継続する。
さらに,フォーミュラフォレストの合成データとしての価値を実証した。
OpenAIが開発したベンチマークであるFrontierScienceでは、Qwen-35B-A3Bモデルの精度を61%から72%に引き上げている。
関連論文リスト
- DiscoveryRSI: Recursively Learning to Discover Valuable Hypotheses [54.28444810466223]
有用かつ検証可能な研究仮説の運用定義を導入する。
我々のDiscoveryRSIフレームワークは、マルチエージェント進化探索により仮説木を開発する。
仮説品質を総合的に評価するDFM-Benchを紹介する。
論文 参考訳（メタデータ） (2026-10-16T17:56:35Z) - How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks [60.853503196898906]
主要な物理学ベンチマークに関する低報告のスコアは、フロンティア言語モデルが高度な物理学に苦しむことを示唆している。
我々は,6つの広く使用されている物理ベンチマークでフロンティアモデルを評価し,専門家と評価することで,これらの知見を再考する。
論文 参考訳（メタデータ） (2026-09-11T16:06:50Z) - Theory-Guided Deception Detection: A RAG-Based Artificial Intelligence Exploration [0.14323566945483496]
研究は7つのレトリーバル拡張世代(RAG)モデルを開発した。
ベースラインモデルと比較して偽装判断がどのように行われたかを分析した。
論文 参考訳（メタデータ） (2026-08-09T19:39:19Z) - Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions [1.2002388504997537]
4つの材料科学課題にまたがる25の大規模言語モデルを評価する。
シンボリックなタスクでは、微調整は応答エントロピーの減少を伴う一貫した検証可能な答えに収束する。
数値計算では、微調整により予測精度が向上するが、モデルは繰り返しの推論実行と矛盾しないままである。
論文 参考訳（メタデータ） (2026-03-02T13:09:12Z) - Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination [67.67725938962798]
大規模なWebスケールコーパスの事前トレーニングは、広く使用されているベンチマークでデータ汚染の影響を受けやすいQwen2.5が残る。
我々はRandomCalculationと呼ばれる任意の長さと難易度を持つ完全クリーンな算術問題を生成するジェネレータを導入する。
精度の高い報酬信号のみがベースモデルの性能境界を超える安定した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2025-07-14T17:55:15Z) - PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Models [33.45006997591683]
PHYBenchは、高校から物理オリンピックの難易度まで、500の物理問題のベンチマークである。
PHYBenchはオリジナルのコンテンツを通じてデータの汚染に対処し、欠陥のあるアイテムを除去するために体系的なキュレーションパイプラインを使用する。
PHYBenchはより多くのトークンを活性化し、推論モデル間のより強力な微分を提供する。
論文 参考訳（メタデータ） (2025-04-22T17:53:29Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - DeepSeek-Prover: Advancing Theorem Proving in LLMs through Large-Scale Synthetic Data [65.5290035371111]
本稿では,高校・学部レベルの数学競争問題から得られたリーン4証明データを生成する手法を提案する。
この合成データセットでDeepSeekMath 7Bモデルを微調整します。
我々のモデルは、Lean 4 Formalized International Mathematical Olympiad (FIMO)ベンチマークで148の問題を5つ証明しましたが、GPT-4は証明できませんでした。
論文 参考訳（メタデータ） (2024-05-23T09:03:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。