論文の概要: PhysReason: A Comprehensive Benchmark towards Physics-Based Reasoning

• arxiv url: http://arxiv.org/abs/2502.12054v1
• Date: Mon, 17 Feb 2025 17:24:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:11:51.632741
• Title: PhysReason: A Comprehensive Benchmark towards Physics-Based Reasoning
• Title（参考訳）: PhysReason: 物理学に基づく推論のための総合的なベンチマーク
• Authors: Xinyu Zhang, Yuxuan Dong, Yanrui Wu, Jiaxing Huang, Chengyou Jia, Basura Fernando, Mike Zheng Shou, Lingling Zhang, Jun Liu,
• Abstract要約: 1200プロブレムの大規模言語モデル評価ベンチマークであるPhysReasonを提案する。 問題は平均8.1の解ステップが必要で、ハードは15.6である。 Deepseek-R1、Gemini-2.0-Flash-Thinking、o3-mini-highといったトップパフォーマンスモデルは、回答レベルの評価で60%以下を実現している。
• 参考スコア（独自算出の注目度）: 36.193595420239845
• License:
• Abstract: Large language models demonstrate remarkable capabilities across various domains, especially mathematics and logic reasoning. However, current evaluations overlook physics-based reasoning - a complex task requiring physics theorems and constraints. We present PhysReason, a 1,200-problem benchmark comprising knowledge-based (25%) and reasoning-based (75%) problems, where the latter are divided into three difficulty levels (easy, medium, hard). Notably, problems require an average of 8.1 solution steps, with hard requiring 15.6, reflecting the complexity of physics-based reasoning. We propose the Physics Solution Auto Scoring Framework, incorporating efficient answer-level and comprehensive step-level evaluations. Top-performing models like Deepseek-R1, Gemini-2.0-Flash-Thinking, and o3-mini-high achieve less than 60% on answer-level evaluation, with performance dropping from knowledge questions (75.11%) to hard problems (31.95%). Through step-level evaluation, we identified four key bottlenecks: Physics Theorem Application, Physics Process Understanding, Calculation, and Physics Condition Analysis. These findings position PhysReason as a novel and comprehensive benchmark for evaluating physics-based reasoning capabilities in large language models. Our code and data will be published at https:/dxzxy12138.github.io/PhysReason.
• Abstract（参考訳）: 大規模言語モデルは様々な分野、特に数学や論理的推論において顕著な能力を示す。 しかし、現在の評価は物理学に基づく推論(物理学の定理と制約を必要とする複雑なタスク)を見落としている。 本稿では、知識ベース(25%)と推論ベース(75%)の3つの問題からなる1200プロブレムのベンチマークであるPhysReasonについて述べる。 特に問題は、物理学に基づく推論の複雑さを反映して、平均8.1の解ステップを必要とする。 本稿では,効率的な解答レベルと総合的なステップレベル評価を取り入れた物理解オートスコーリングフレームワークを提案する。 Deepseek-R1、Gemini-2.0-Flash-Thinking、o3-mini-highといったトップパフォーマンスモデルは、回答レベルの評価で60%以下を実現しており、パフォーマンスは知識問題(75.11%)からハード問題(31.95%)へと低下している。 ステップレベルの評価を通じて,物理理論の適用,物理プロセス理解,計算,物理条件解析の4つの主要なボトルネックを特定した。 これらの結果は、PhysReasonを、大規模言語モデルにおける物理に基づく推論能力を評価するための、新しく包括的なベンチマークとして位置づけている。 私たちのコードとデータはhttps:/dxzxy12138.github.io/PhysReasonで公開されます。

関連論文リスト

• MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations [90.07275414500154]
  各種モデルにおけるMATH-P-Hardの性能低下を観察する。 また、学習した問題解決スキルを盲目的に適用する新しい形態の記憶に関する懸念も提起する。
  論文  参考訳（メタデータ） (2025-02-10T13:31:46Z)
• UGPhysics: A Comprehensive Benchmark for Undergraduate Physics Reasoning with Large Language Models [39.917074900737575]
  大規模言語モデル(LLM)は、複雑な推論タスクを解く際、顕著な能力を示した。 物理学の推論の領域は、非常に少ない注意を払われたユニークな課題を提示する。 既存のベンチマークは、学部レベルの物理学の広さと深さでLLMの能力を評価するのに不足することが多い。
  論文  参考訳（メタデータ） (2025-02-01T06:42:02Z)
• Physics Reasoner: Knowledge-Augmented Reasoning for Solving Physics Problems with Large Language Models [41.88825441287559]
  既存の大規模言語モデル(LLM)は、知識の不足や誤った知識アプリケーションのために頻繁に失敗する。 LLMを用いて物理問題を解くための知識強化フレームワークである物理推論器を提案する。 物理学的な問題を考えると、物理学的推論は問題解析、公式検索、ガイド付き推論という3つの段階を通して解決する。 経験的に、物理推論器は知識不足と不正確な応用の問題を緩和し、SciBenchの最先端性能を平均精度5.8%で達成した。
  論文  参考訳（メタデータ） (2024-12-18T12:33:50Z)
• Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models [63.31878920079154]
  Olympiadレベルでの大規模言語モデルの数学的推論を評価するためのベンチマークを提案する。 既存のOlympiad関連のベンチマークとは違って、我々のデータセットは数学に特化しており、厳密な人間のアノテーションを使った4428の競合レベルの問題の膨大なコレクションを含んでいる。 実験の結果,最も先進的なモデルであるOpenAI o1-miniとOpenAI o1-previewでさえ,60.54%と52.55%の精度で,オリンピアードレベルの問題に悩まされ,オリンピアードレベルの数学的推論において重大な課題が浮き彫りにされていることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T14:39:33Z)
• OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems [62.06169250463104]
  我々はOlympiadレベルのバイリンガル・マルチモーダル・サイエンス・ベンチマークであるOlympiadBenchを紹介し、Olympiadレベルの数学と物理学のコンペティションの8,476の問題を特徴とする。 最も優れたモデルであるGPT-4Vはオリンピアドベンチで平均17.97%を獲得し、物理学ではわずか10.74%である。 GPT-4Vの分析では、幻覚、知識欠失、論理的誤信などの問題が指摘されている。
  論文  参考訳（メタデータ） (2024-02-21T18:49:26Z)
• Physics simulation capabilities of LLMs [0.0]
  大規模言語モデル(LLM)は、学部レベルから大学院レベルの物理学教科書の問題を解くことができ、コーディングに精通している。 本稿では、PhDレベルから研究レベルの計算物理問題に対するSOTA (State-of-the-art) LLMの評価を行う。
  論文  参考訳（メタデータ） (2023-12-04T18:06:41Z)
• Using Large Language Model to Solve and Explain Physics Word Problems Approaching Human Level [0.0]
  テキスト上で事前訓練された大言語モデル(LLM)は、純粋数学語問題だけでなく、物理語問題も解ける。 我々の研究は、物理語問題の自動解法、説明、生成に焦点を当てた最初の研究である。
  論文  参考訳（メタデータ） (2023-09-15T06:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。