論文の概要: OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
- arxiv url: http://arxiv.org/abs/2608.25398v1
- Date: Wed, 26 Aug 2026 05:51:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.607531
- Title: OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
- Title（参考訳）: OmniPhys:中国教育コーパスの物理理解と生成のための統一されたマルチモーダルベンチマーク
- Abstract要約: MLLM(Multimodal Large Language Models)は、多様な視覚的およびテキスト的推論タスクを解く上で、強力な能力を示している。
我々はマルチモーダル物理理解と推論のための大規模ベンチマークであるOmniPhysを紹介する。
- 参考スコア（独自算出の注目度）: 17.671171770802925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) have demonstrated strong abilities in solving diverse visual and textual reasoning tasks. However, their development in the physics domain is significantly hindered by the lack of a comprehensive benchmark. To fill this gap, we introduce OmniPhys, a large-scale benchmark for multimodal physics understanding and reasoning, covering middle school through university-level problems from Chinese Educational Corpora. OmniPhys consists of 15,246 questions and 19,850 images, accompanied by detailed annotations that support fine-grained analysis of reasoning processes and knowledge usage. Beyond conventional evaluation, OmniPhys is a benchmark that systematically evaluates multimodal outputs in the physics domain, including models' ability to generate structured physics diagrams, which constitute a fundamental component of authentic physics problem solving. Extensive evaluations reveal critical gaps in the capabilities of current MLLMs, especially in complex reasoning and visual generation. To address this, we release OmniPhys to serve as a foundational resource for advancing multimodal intelligence in physics and scientific domains. Codes and data are available at https://github.com/ECNU-RAIL/OmniPhys-EMNLP2026.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、多様な視覚的およびテキスト的推論タスクを解く上で、強力な能力を示している。
しかしながら、物理学領域における彼らの開発は、包括的なベンチマークが欠如していることによって著しく妨げられている。
このギャップを埋めるために、中国教育コーパスの大学レベルの問題を通して中学をカバーし、マルチモーダル物理理解と推論のための大規模ベンチマークであるOmniPhysを紹介した。
OmniPhysは15,246の質問と19,850のイメージで構成され、推論プロセスと知識使用の詳細な分析をサポートする詳細なアノテーションが付属している。
従来の評価以外にも、OmniPhysは、物理領域におけるマルチモーダル出力を体系的に評価するベンチマークであり、モデルが構造化された物理図を生成する能力を含んでいる。
大規模な評価は、特に複雑な推論と視覚生成において、現在のMLLMの能力に重大なギャップがあることを明らかにする。
そこで我々はOmniPhysをリリースし,物理分野や科学分野におけるマルチモーダルインテリジェンス向上の基盤となる。
コードとデータはhttps://github.com/ECNU-RAIL/OmniPhys-EMNLP2026で公開されている。
関連論文リスト
- LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference [57.086932851733145]
ビデオ拡散モデルにおける直感的な物理を評価するトレーニング不要な方法であるLikePhysを紹介した。
現在のビデオ拡散モデルにおける直観的物理理解のベンチマークを行う。
経験的結果は、現在のモデルが複雑でカオス的な力学に苦しむにもかかわらず、モデルキャパシティと推論設定スケールとしての物理理解の改善傾向が明らかであることを示している。
論文 参考訳（メタデータ） (2025-10-13T15:19:07Z) - Benchmarking Foundation Models with Retrieval-Augmented Generation in Olympic-Level Physics Problem Solving [56.119382216818195]
基礎モデルを用いた検索拡張世代(RAG)は,様々なタスクにおいて高い性能を達成している。
しかし、オリンピアードレベルの物理学問題を解くような専門家レベルの推論能力は、ほとんど解明されていない。
我々は,Olympiadレベルの物理に特化して設計された高品質なマルチモーダルデータセットであるPhoPileを紹介する。
PhoPileを用いて,大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) の両方を複数のレトリバーでカバーするRAG拡張基盤モデルのベンチマークを行った。
論文 参考訳（メタデータ） (2025-10-01T13:57:53Z) - Multi-Physics: A Comprehensive Benchmark for Multimodal LLMs Reasoning on Chinese Multi-Subject Physics Problems [15.023749693065406]
我々は,5つの難易度を含む総合的なベンチマークである,中国の物理推論のためのマルチ物理について紹介する。
我々は20種類のMLLMの評価に2つの評価フレームワークを使用し、最終回答精度とステップ・バイ・ステップの整合性の両方を分析した。
論文 参考訳（メタデータ） (2025-09-19T10:18:48Z) - CMPhysBench: A Benchmark for Evaluating Large Language Models in Condensed Matter Physics [71.42168240638462]
CMPhysBenchは、凝縮物質物理学における大規模言語モデルの習熟度を評価するように設計されている。
以上の結果から,最高モデルであるGrok-4でさえ,CMPhysBench上での平均SEEDスコアが36点,精度が28%であった。
論文 参考訳（メタデータ） (2025-08-25T15:32:22Z) - PhysicsEval: Inference-Time Techniques to Improve the Reasoning Proficiency of Large Language Models on Physics Problems [2.464003792743989]
物理問題におけるフロンティアLLMの性能を数学的・記述的に評価する。
各種物理教科書から得られた19,609個の問題から成り立つ物理問題評価ベンチマークである$rm P Small HYSICSEsmall VAL$を導入する。
論文 参考訳（メタデータ） (2025-07-31T18:12:51Z) - PhysUniBench: An Undergraduate-Level Physics Reasoning Benchmark for Multimodal Models [69.73115077227969]
大規模言語モデル(MLLM)の推論能力の評価と改善を目的とした大規模ベンチマークであるPhysUniBenchを提案する。
PhysUniBenchは、3,304の物理問題から成っている。
ベンチマークの構成には、複数のロールアウト、専門家レベルの評価、解決が容易な問題の自動フィルタリング、そして5段階の難易度グレーディングシステムを含む、厳格な多段階プロセスが含まれていた。
論文 参考訳（メタデータ） (2025-06-21T09:55:42Z) - Can Theoretical Physics Research Benefit from Language Agents? [50.57057488167844]
大規模言語モデル(LLM)は、様々な領域にわたって急速に進歩しているが、理論物理学研究への応用はまだ成熟していない。
このポジションペーパーは、LLMエージェントが、ドメイン知識やツールボックスと適切に統合された場合、理論的、計算的、応用物理学を加速するのに役立つと主張している。
マルチモーダルデータを処理し、検証可能な仮説を提案し、設計実験を行う物理特殊化LSMを構想する。
論文 参考訳（メタデータ） (2025-06-06T16:20:06Z) - SeePhys: Does Seeing Help Thinking? -- Benchmarking Vision-Based Physics Reasoning [95.2886065291234]
物理問題に基づく推論のための大規模マルチモーダルベンチマークである SeePhys を提示する。
このベンチマークは、物理学の分野にまたがる7つの基本的な領域をカバーし、21のカテゴリの非常に異質なダイアグラムを取り入れている。
最も先進的な視覚推論モデル(例えばGemini-2.5-proやo4-mini)でさえ、ベンチマークで60%未満の精度を実現している。
論文 参考訳（メタデータ） (2025-05-25T11:28:34Z) - PhysicsArena: The First Multimodal Physics Reasoning Benchmark Exploring Variable, Process, and Solution Dimensions [9.428916253383402]
PhysicsArenaは、MLLMのマルチモーダル物理推論能力の評価と向上のための総合的なプラットフォームを提供することを目指している。
MLLMは様々な推論タスクにおいて顕著な能力を示してきたが、複雑な物理推論への応用は未解明のままである。
論文 参考訳（メタデータ） (2025-05-21T12:48:16Z) - UGPhysics: A Comprehensive Benchmark for Undergraduate Physics Reasoning with Large Language Models [39.917074900737575]
大規模言語モデル(LLM)は、複雑な推論タスクを解く際、顕著な能力を示した。
物理学の推論の領域は、非常に少ない注意を払われたユニークな課題を提示する。
既存のベンチマークは、学部レベルの物理学の広さと深さでLLMの能力を評価するのに不足することが多い。
論文 参考訳（メタデータ） (2025-02-01T06:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。