論文の概要: ScienceArena: Benchmarking LLMs on Latest Scientific Olympiad Competitions
- arxiv url: http://arxiv.org/abs/2608.30517v1
- Date: Mon, 31 Aug 2026 09:52:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.335021
- Title: ScienceArena: Benchmarking LLMs on Latest Scientific Olympiad Competitions
- Title（参考訳）: ScienceArena: 最新の科学オリンピックコンペティションに関するLLMのベンチマーク
- Abstract要約: ScienceArenaは、物理、化学、生物学の13の公開科学コンペティションのオリンピックスタイルのベンチマークである。
我々はScienceArenaを専門家が監査したデジタル化パイプラインで構築し、公式の試験、数字、ソリューション、ルーリックをオリンピックのメダリストが検証した構造化アイテムに変換する。
メダリストの注記によれば、失敗は視覚的基盤、構造的忠実さ、そしてグローバルな問題制御に起因していることが多い。
- 参考スコア（独自算出の注目度）: 20.614899115950156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmark saturation and data contamination increasingly obscure genuine scientific reasoning in frontier LLMs. We introduce \textsc{ScienceArena}, an olympiad-style benchmark from thirteen public science competitions in physics, chemistry, and biology, including IPhO and IChO 2025--2026, IBO 2023, USAPhO 2026, and USNCO 2025. Its open-ended, multi-step problems use process-credit rubrics, making faithful scoring difficult. We build ScienceArena through an expert-audited digitization pipeline that converts official exams, figures, solutions, and rubrics into structured items verified by olympiad medalists. To scale evaluation beyond costly human grading, we calibrate LLM-as-judge against medalist ground truth on archived answers from five models across IPhO and IChO; two strong judges stay within one point of expert total scores. Medalist notes show that failures often stem from visual grounding, structure fidelity, and global problem control rather than missing terminology. Evaluating fourteen recent LLMs with interleaved solving, we find that top models obtain medal-equivalent rubric scores on several public international exams, while chemistry and long-horizon consistency remain key bottlenecks. We provide an interactive \href{https://science-arena.onrender.com/}{demo}.
- Abstract（参考訳）: ベンチマーク飽和とデータ汚染は、フロンティアのLLMにおいて明らかな科学的理由としてますます曖昧になってきている。
我々は,IPhOとIChO 2025-2026,IBO 2023,USAPhO 2026,USNCO 2025を含む物理・化学・生物学の13の公開科学コンペティションのオリンピックスタイルベンチマークである‘textsc{ScienceArena} を紹介する。
オープンエンドで多段階の問題は、プロセスクレディットのルーリックを使用し、忠実なスコアリングを困難にしている。
我々はScienceArenaを専門家が監査したデジタル化パイプラインで構築し、公式の試験、数字、ソリューション、ルーリックをオリンピックのメダリストが検証した構造化アイテムに変換する。
IPhOとIChOにまたがる5つのモデルのアーカイブされた回答に対して,LLM-as-judgeをメダリストの真理に対して校正する。
メダリストの注記によれば、失敗は視覚的基盤、構造的忠実さ、そしてグローバルな問題制御に起因していることが多い。
最近の14のLLMとインターリーブ型解法を評価すると、上位モデルがいくつかの国際試験でメダル相当のルーブリックスコアを得るのに対し、化学と長期の一貫性は重要なボトルネックであることがわかった。
インタラクティブな \href{https://science-arena.onrender.com/}{demo} を提供する。
関連論文リスト
- Post-Training Language Models for Gold-Medal Performance in Coding Competitions [70.8192632995446]
本稿では,大規模問題キュレーション,合成推論トレース,教師付き微調整,強化学習を組み合わせたエンドツーエンドの特殊化パイプラインを提案する。
SFTとRLでNemotron-3-Nano-CCを,SFT単独でNemotron-3-Ultra-CC(550B-A55B)を訓練した。
IOI 2025では、Nano-CCはポストトレーニング後の130点から291点に改善され、GenCorrectでは468点に改善され、Ultra-CCは502点に達した。
論文 参考訳（メタデータ） (2026-09-02T17:33:37Z) - Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling [108.48818215929494]
訓練後,背骨を厳密なオリンピックレベル解法に変換するためのシンプルで統一的なレシピを紹介した。
約340Kのサブ8K軌道上でSFTで30B-A3Bのバックボーンをトレーニングし,200RLステップを行った。
結果として得られるモデル SU-01 は、100Kトークンを超える軌道上の難しい問題に対する安定な推論をサポートする。
論文 参考訳（メタデータ） (2026-05-13T10:13:26Z) - FrontierScience: Evaluating AI's Ability to Perform Expert-Level Scientific Tasks [3.596967766594675]
我々は、フロンティア言語モデルにおける専門家レベルの科学的推論を評価するベンチマークであるFrontierScienceを紹介する。
本研究では,研究課題の解決過程を通じて,モデル機能を評価するための粒度をベースとした評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-29T02:04:56Z) - Large Language Models Achieve Gold Medal Performance at the International Olympiad on Astronomy & Astrophysics (IOAA) [43.53870250026015]
我々は,国際天文学・天体物理学試験(IOAA)において,5つの大きな言語モデル(LLM)をベンチマークした。
平均スコアは85.6%、84.2%で、ジェミニ2.5 ProとGPT-5は4つのIOAA理論試験で200-300人中上位2位にランクインした。
GPT-5は88.5%のスコアで試験に合格しており、最新の4つのIOAAの参加者の中ではトップ10にランクインしている。
論文 参考訳（メタデータ） (2025-10-06T16:58:47Z) - PhysicsMinions: Winning Gold Medals in the Latest Physics Olympiads with a Coevolutionary Multimodal Multi-Agent System [65.02248709992442]
物理は現実世界の理解と形成の中心であり、物理問題を解く能力は現実世界の物理知能の重要な指標である。
既存のアプローチは主にシングルモデルベースであり、オープンソースのMLLMはゴールドメディカルレベルのパフォーマンスに達することは滅多にない。
我々は,物理オリンピアードの共進化的マルチエージェントシステムであるPhysorMinionsを提案する。
アーキテクチャには、ダイアグラムを解釈するVisual Studio、ソリューションを定式化するLogic Studio、デュアルステージ検証を実行するReview Studioの3つのシナジスティックスタジオがある。
論文 参考訳（メタデータ） (2025-09-29T14:40:53Z) - HiPhO: How Far Are (M)LLMs from Humans in the Latest High School Physics Olympiad Benchmark? [53.76627321546095]
HiPhOは、人間による評価を備えた、高校の物理学オリンピアードのための最初のベンチマークである。
2024年から2025年にかけて13回のオリンピアード試験をコンパイルし、国際大会と地域競技の両方にまたがる。
我々は、(M)LLMとヒトの競技者との直接比較を可能にするため、公式メダル閾値に基づくモデルに金、銀、銅のメダルを割り当てる。
論文 参考訳（メタデータ） (2025-09-09T16:24:51Z) - LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming? [88.29001498765629]
大規模言語モデル(LLM)は、競争力のあるプログラミングにおいてエリート人間より優れています。
我々はこの主張を再考し、LLMが人間の専門家とどのように異なるのか、そしてまだ限界が残っているのかを考察する。
私たちは、Codeforces、ICPC、IOIの問題からなるベンチマークであるLiveCodeBench Proを紹介します。
オリンピアードのメダリストのチームはアルゴリズムカテゴリーのあらゆる問題に注釈を付け、失敗したモデル生成の提出をライン・バイ・ラインで分析する。
論文 参考訳（メタデータ） (2025-06-13T16:29:09Z) - OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems [62.06169250463104]
我々はOlympiadレベルのバイリンガル・マルチモーダル・サイエンス・ベンチマークであるOlympiadBenchを紹介し、Olympiadレベルの数学と物理学のコンペティションの8,476の問題を特徴とする。
最も優れたモデルであるGPT-4Vはオリンピアドベンチで平均17.97%を獲得し、物理学ではわずか10.74%である。
GPT-4Vの分析では、幻覚、知識欠失、論理的誤信などの問題が指摘されている。
論文 参考訳（メタデータ） (2024-02-21T18:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。