論文の概要: SciCode-Verified: How Benchmark Defects Underestimated the Scientific-Coding Ability of Language Models

• arxiv url: http://arxiv.org/abs/2608.04975v1
• Date: Wed, 05 Aug 2026 15:45:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.980181
• Title: SciCode-Verified: How Benchmark Defects Underestimated the Scientific-Coding Ability of Language Models
• Title（参考訳）: SciCode-Verified: ベンチマークの欠陥が言語モデルの科学的コーディング能力の過小評価方法
• Authors: Sihan Hu, Lyuhan Huang, Youjin Deng, Kun Chen,
• Abstract要約: SciCodeは、言語モデルの科学的コーディング能力の標準尺度である。 人工知能インテリジェンス指数(Artificial Analysis Intelligence Index)の略。 最先端のモデルは、SciCodeが示唆しているよりも科学的コーディングにはるかに熟練している。
• 参考スコア（独自算出の注目度）: 1.9873319610438742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: SciCode is the standard measure of the scientific-coding ability of language models: research-level problems that demand both frontier scientific theory and its implementation as working numerical code. It is a component of the Artificial Analysis Intelligence Index and a standing evaluation in government and national-laboratory suites. Yet its scores have recently plateaued: the strongest 2026 models cluster tightly around 60\% subproblem accuracy, and a successor model ties its predecessor. We trace this stagnation to defects in the benchmark itself. A per-problem, domain-expert audit of all 65 test problems uncovers 263 defects; 192 of them, spread across 91\% of the main problems, cause correct, instruction-following solutions to be wrongly rejected---through non-reproducible gold answers, over-tight tolerances, or self-contradictory specifications. Critically, 78\% of these score-suppressing defects require specialized physics or mathematics knowledge to detect, not mere clerical proofreading. We corrected every confirmable defect to produce SciCode-Verified. The corrections add only the specifications a well-posed problem requires, repair grading, and tighten the tests that were too lenient; every change is recorded with its justification and independently re-checked by a second domain expert. We re-evaluate twelve frontier model snapshots on the corrected benchmark and find a substantial recovery: subproblem accuracy rises from 45--60\% to 84--98\%, and main-problem accuracy from 9--27\% to 69--92\%. State-of-the-art models are far more proficient in scientific coding than SciCode has suggested---the bottleneck was not model capability, but the quality of the evaluation instrument. We release SciCode-Verified with its complete audit trail as the corrected public standard.
• Abstract（参考訳）: SciCodeは、言語モデルの科学的コーディング能力の標準的な尺度である。 人工知能インテリジェンス指数(Artificial Analysis Intelligence Index)の構成要素であり、政府および国家協力スイートの立案評価である。 最強の2026モデルは60\%のサブプロブレム精度でクラスタ化されており、後継モデルは前機種と結びついている。 この停滞は、ベンチマーク自体の欠陥に遡る。 問題のうち192は、主要な問題のうち91 % に広がり、正しい命令フォローソリューションが誤って拒否される原因となっている。 批判的に、これらのスコア抑制欠陥の78\%は、単に聖職者の証明を読むのではなく、特別な物理学や数学の知識を必要としている。 SciCode-Verifiedを生成するために、確認可能なすべての欠陥を修正しました。 修正は、適切に提案された問題のみを仕様に加え、修正グレーディングを必要とし、寛大なテストを強化します。 サブプロブレム精度は45-60\%から84-98\%に上昇し、メインプロブレム精度は9-27\%から69-92\%に上昇する。 最先端のモデルは科学的なコーディングにおいてSciCodeが示唆しているよりもはるかに熟練している - ボトルネックはモデル能力ではなく、評価器の品質だった。 修正された公開標準として完全な監査パスを備えたSciCode-Verifiedをリリースします。

関連論文リスト

• Agentic Proving for Program Verification [44.663012714194025]
  エージェントシステムは、形式数学における自動定理証明のための最先端のアプローチとして登場した。 検証可能なコード生成のためのLean 4ベンチマークであるCLEVERのエージェント証明フレームワークでClaude Codeを評価した。
  論文  参考訳（メタデータ） (2026-05-22T15:41:27Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• A Judge Agent Closes the Reliability Gap in AI-Generated Scientific Simulation [1.7259824817932294]
  大規模言語モデルは科学シミュレーションコードを生成することができるが、生成されたコードは、ほとんどの非テキスト問題で静かに失敗する。 古典的な数学的検証は,判断エージェントによって完全に自動化可能であることを示す。 12人の独立した科学者が提出した72の盲目タスクは、自動エラー境界で89%の成功率を得る。
  論文  参考訳（メタデータ） (2026-03-26T16:03:52Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• SciCoQA: Quality Assurance for Scientific Paper--Code Alignment [53.70401063640645]
  SciCoQAは,学術出版物と論文の相違を検出するためのデータセットである。 我々のデータセットは611の紙コード不一致(81のリアル、530の合成)で構成されており、様々な計算科学分野にまたがっている。 評価における最高の性能モデルである GPT-5 は、実世界の紙コード差の45.7%しか検出できない。
  論文  参考訳（メタデータ） (2026-01-19T10:04:33Z)
• MSC-180: A Benchmark for Automated Formal Theorem Proving from Mathematical Subject Classification [21.9173105378467]
  現在の大言語モデル(LLM)に基づく定理証明は、制限された領域カバレッジや数学的推論の弱い一般化といった制限に悩まされている。 我々は,MSC 2020の数学的対象分類に基づく評価ベンチマークであるMSC-180を提案する。 180の形式的検証問題、60の数学分野から3つの先進的な問題が含まれており、学部から大学院まで多岐にわたる。
  論文  参考訳（メタデータ） (2025-12-20T07:39:19Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• Assessing the Efficacy of Grammar Error Correction: A Human Evaluation Approach in the Japanese Context [10.047123247001714]
  我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。 自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。 その結果、精度は63.66%、リコールは20.19%であった。
  論文  参考訳（メタデータ） (2024-02-28T06:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。