論文の概要: FrontierMat: Benchmarking Language Models at the Frontier of Materials R&D

• arxiv url: http://arxiv.org/abs/2610.41162v1
• Date: Fri, 30 Oct 2026 02:37:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.592712
• Title: FrontierMat: Benchmarking Language Models at the Frontier of Materials R&D
• Title（参考訳）: FrontierMat: マテリアルR&Dのフロンティアにおける言語モデルのベンチマーク
• Abstract要約: FrontierMatは、フロンティアの学術研究と産業研究から引き出された330の問題のベンチマークである。 あらゆる問題は実験家やその分野の専門家によって検証される。 クロススケール問題のスコアは8.7ポイント以下である。
• 参考スコア（独自算出の注目度）: 32.556827177414256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To accelerate materials discovery, language models must be able to address problems at the research frontier. Yet textbook- and examination-derived benchmarks primarily assess established knowledge, leaving performance on frontier research problems largely untested. We introduce FrontierMat, a benchmark of 330 problems drawn from frontier academic and industrial research in fields including aerospace, semiconductors, embodied intelligence and nuclear fusion. Every problem is validated by leading experimentalists and industry experts in its field. Each problem presents a real study and asks the model to infer a withheld outcome or draw a conclusion from selected experimental evidence. Problems are annotated by functional domain, material system and the scale of the governing mechanism; 130 require cross-scale reasoning. The strongest general-purpose model scores only 53.7%, and on matched problems, cross-scale problems score 8.7 points below single-scale ones. Half of the problems are solved by at most one model, and models fail chiefly by endorsing what is plausible rather than what was observed. A domain-adaptation study with meta-weighted continued pretraining and scale-modular self-distillation raises an open-weight model from 36.7% to 55.4%, matching the strongest proprietary model, with improvements on public materials benchmarks and no decline in aggregate performance on general benchmarks. FrontierMat provides a testbed for measuring progress toward language models that support frontier materials R&D.
• Abstract（参考訳）: 材料発見を加速するためには、言語モデルが研究フロンティアの問題を解決する必要がある。 しかし、教科書や試験に基づくベンチマークは主に確立した知識を評価し、フロンティアの研究問題のパフォーマンスはほとんど検証されていない。 航空宇宙、半導体、インボディード・インテリジェンス、核融合などの分野において、フロンティアの学術・産業研究から引き出された330の問題のベンチマークであるFrontierMatを紹介する。 あらゆる問題は実験家やその分野の専門家によって検証される。 それぞれの問題は実際の研究結果を示し、モデルに未解決の結果を推測するか、選択された実験的な証拠から結論を引き出すよう依頼する。 問題は機能ドメイン、物質システム、管理機構の規模によって注釈付けされ、130はクロススケールな推論を必要とする。 最強の汎用モデルスコアは53.7%であり、一致した問題では、クロススケール問題がシングルスケールモデルよりも8.7ポイント低い。 問題の半数は少なくとも1つのモデルで解決され、モデルは主に観察されたものよりも可観測であるものを支持して失敗する。 メタ重み付き継続事前トレーニングとスケールモジュラ自己蒸留によるドメイン適応研究は、オープンウェイトモデルを36.7%から55.4%に引き上げ、最強のプロプライエタリモデルに匹敵する。 FrontierMatは、フロンティア材料R&Dをサポートする言語モデルに向けた進捗を測定するためのテストベッドを提供する。

関連論文リスト

• PHYRD: A Living Benchmark for Reproducing and Extending Theoretical Physics Research [19.577334721654385]
  63 Reproduce と 43 Discover 問題を用いた理論物理学推論のための生きたベンチマーク PHYRD を紹介する。 FormulaForestは、参照ソリューションとサブクエションレベルのルーリックを使ってタスクを構築する。 OpenAIが開発したベンチマークであるFrontierScienceでは、Qwen-35B-A3Bモデルの精度を61%から72%に引き上げている。
  論文  参考訳（メタデータ） (2026-10-23T13:03:48Z)
• BioEVAL: A global, multi-institutional benchmark of large language and multimodal models for bioengineering [34.61671844130205]
  大規模言語モデル (LLMs) は、生物医学の初期の成功と共に、一般的な推論において歴史的に画期的な進歩を見せている。 バイオエンジニアリングのサブフィールドにまたがる実験的推論能力の評価を目的とした,グローバルな多施設間イニシアティブであるBioEVALを組み立てた。 BioEVALは、11の主要なBEサブフィールドと、分類されていない項目のセットにまたがっており、22の研究グループをまとめてPhDレベルのベンチマークを作成する。
  論文  参考訳（メタデータ） (2026-09-24T19:26:39Z)
• How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks [60.853503196898906]
  主要な物理学ベンチマークに関する低報告のスコアは、フロンティア言語モデルが高度な物理学に苦しむことを示唆している。 我々は,6つの広く使用されている物理ベンチマークでフロンティアモデルを評価し,専門家と評価することで,これらの知見を再考する。
  論文  参考訳（メタデータ） (2026-09-11T16:06:50Z)
• Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs [86.49905745865038]
  Soohakは64人の数学者によって新たに書かれた439プロブレムのベンチマークである。 データセットは2026年後半に公開され、中間で要求に応じてモデル評価が利用可能になる。
  論文  参考訳（メタデータ） (2026-05-09T17:14:22Z)
• ATLAS: A High-Difficulty, Multidisciplinary Benchmark for Frontier Scientific Reasoning [118.46980291324148]
  ATLASは、約800のオリジナルの問題からなる大規模で、高精度で、学際横断的な評価スイートである。 主な特徴は次のとおりである。 テストデータの漏洩を防ぐために新しく作成されたり、実質的に適応されたすべての質問を含む、高いオリジン性と汚染抵抗。 先行モデルに関する予備的な結果は、ATLASが先進的な科学的推論能力の差別化に有効であることを証明している。
  論文  参考訳（メタデータ） (2025-11-18T11:13:06Z)
• LiveOIBench: Can Large Language Models Outperform Human Contestants in Informatics Olympiads? [5.835205320809048]
  LiveOIBenchは403のOlympiadレベルの競合プログラミング問題と60のエキスパート設計テストケースを特徴とするベンチマークである。 この問題は2023年から2025年の間に行われた、72の公式のインフォマティクス・オリンピアード(英語版)から直接引き起こされている。 LiveOIBenchは,詳細なサブタスクと広範なプライベートテストケースを備えた,厳密にキュレートされた高品質なタスクという,4つの重要な機能を通じて,自分自身を区別する。
  論文  参考訳（メタデータ） (2025-10-10T17:54:24Z)
• R-Bench: Graduate-level Multi-disciplinary Benchmarks for LLM & MLLM Complex Reasoning Evaluation [75.33671166231096]
  我々は、Reasoning Bench(R-Bench)と呼ばれる、大学院レベルの多学派、英語の中国語ベンチマークを導入する。 RBenchは108の被験者に1,094の質問を、83の被験者に665の質問を、マルチモーダルなモデルテストに当てはめている。 我々は,OpenAI o1,GPT-4o,DeepSeek-R1など,広く使用されているモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-04T07:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。