論文の概要: ACADREASON: Exploring the Limits of Reasoning Models with Academic Research Problems

• arxiv url: http://arxiv.org/abs/2510.11652v1
• Date: Mon, 13 Oct 2025 17:30:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.48012
• Title: ACADREASON: Exploring the Limits of Reasoning Models with Academic Research Problems
• Title（参考訳）: ACADREASON:学術研究問題を考慮した推論モデルの限界を探る
• Authors: Xin Gui, King Zhu, JinCheng Ren, Qianben Chen, Zekun Moore Wang, Yizhi LI, Xinpeng Liu, Xiaowan Li, Wenli Ren, Linyu Miao, Tianrui Qin, Ziqi Shu, He Zhu, Xiangru Tang, Dingfeng Shi, Jiaheng Liu, Yuchen Eleanor Jiang, Minghao Liu, Ge Zhang, Wangchunshu Zhou,
• Abstract要約: Acadreasonベンチマークは、LLMとエージェントが学術的知識を習得し、推論する能力を評価するために設計されている。 コンピュータ科学、経済学、法学、数学、哲学を含む5つの高レベル分野にまたがる50の専門的注釈付き学術問題で構成されている。 その結果、ほとんどのLPMは20点以下であり、最先端のGPT-5でも16点しか獲得できなかった。
• 参考スコア（独自算出の注目度）: 47.451132653010774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the research focus of large language models (LLMs) and agents has shifted increasingly from demonstrating novel capabilities to complex reasoning and tackling challenging tasks. However, existing evaluations focus mainly on math/code contests or general tasks, while existing multi-domain academic benchmarks lack sufficient reasoning depth, leaving the field without a rigorous benchmark for high-level reasoning. To fill this gap, we introduce the Acadreason benchmark, designed to evaluate the ability of LLMs and agents to acquire and reason over academic knowledge. It consists of 50 expert-annotated academic problems across five high-reasoning domains, including computer science, economics, law, mathematics, and philosophy. All questions are sourced from top-tier publications in recent years and undergo rigorous annotation and quality control to ensure they are both challenging and answerable. We conduct systematic evaluations of over 10 mainstream LLMs and agents. The results show that most LLMs scored below 20 points, with even the cutting-edge GPT-5 achieving only 16 points. While agents achieved higher scores, none exceeded 40 points. This demonstrates the current capability gap between LLMs and agents in super-intelligent academic research tasks and highlights the challenges of Acadreason.
• Abstract（参考訳）: 近年,大規模言語モデル(LLM)とエージェントの研究の焦点は,新たな能力の実証から複雑な推論,困難なタスクへの対処へと移りつつある。 しかし、既存の評価は算数/コードコンテストや一般的なタスクに重点を置いているのに対し、既存のマルチドメインの学術ベンチマークは十分な推論深度を欠いており、高レベルの推論のための厳密なベンチマークは残っていない。 このギャップを埋めるために,学術知識の獲得と推論を行うLLMとエージェントの能力を評価するために設計されたAcadreasonベンチマークを導入する。 コンピュータ科学、経済学、法学、数学、哲学を含む5つの高レベル分野にまたがる50の専門的注釈付き学術問題で構成されている。 すべての質問は、近年のトップレベルの出版物から導き出され、厳格なアノテーションと品質管理を受けており、それらが挑戦的かつ答えやすいものであることを保証しています。 10以上のLLMおよびエージェントの系統的評価を行う。 その結果、ほとんどのLPMは20点以下であり、最先端のGPT-5でも16点しか獲得できなかった。 エージェントはより高いスコアを獲得したが、40点を超えなかった。 これは、超知能な学術研究課題におけるLLMとエージェントの現在の能力ギャップを示し、アカデアソンの課題を強調している。

関連論文リスト

• ELAIPBench: A Benchmark for Expert-Level Artificial Intelligence Paper Understanding [49.67493845115009]
  ELAIPBenchは、大規模言語モデルによるAI研究論文の理解を評価するために、ドメインの専門家によってキュレーションされたベンチマークである。 難易度は3つあり、浅い検索よりも非自明な推論に重点を置いている。 実験の結果、最高の性能のLSMは、人間の性能よりはるかに低い39.95%の精度しか達成できないことがわかった。
  論文  参考訳（メタデータ） (2025-10-12T11:11:20Z)
• IMProofBench: Benchmarking AI on Research-Level Mathematical Proof Generation [4.991157581428135]
  IMProofBenchは、専門家数学者によって開発された39のピアレビューされた問題からなるプライベートベンチマークである。 それぞれの問題は詳細な証明を必要とし、最終的な答えを持つサブプロブレムと組み合わせられる。 以前のベンチマークとは異なり、評価設定は現実的な研究環境をシミュレートする。
  論文  参考訳（メタデータ） (2025-09-30T10:50:37Z)
• MDK12-Bench: A Comprehensive Evaluation of Multimodal Large Language Models on Multidisciplinary Exams [50.293164501645975]
  MLLM(Multimodal large language model)は、言語と視覚を統合して問題解決を行う。 MLLMのインテリジェンスを測定するための現在のベンチマークは、限られた規模、狭い範囲、構造化されていない知識に悩まされている。 MDK12-Benchは、6つの分野にまたがる実世界のK-12試験から構築された大規模マルチディシプリナベンチマークである。
  論文  参考訳（メタデータ） (2025-08-09T06:21:10Z)
• Truly Assessing Fluid Intelligence of Large Language Models through Dynamic Reasoning Evaluation [106.17986469245302]
  大きな言語モデル(LLM)は、人間のような思考を反映する印象的な推論能力を示している。 既存の推論ベンチマークでは、ドメイン固有の知識(結晶化インテリジェンス)に焦点を当てるか、解釈可能性に欠ける。 階層的認知フレームワークを基盤とした動的推論評価ベンチマークであるDRE-Benchを提案する。
  論文  参考訳（メタデータ） (2025-06-03T09:01:08Z)
• SuperGPQA: Scaling LLM Evaluation across 285 Graduate Disciplines [118.8024915014751]
  大規模言語モデル(LLM)は、数学、物理学、計算機科学などの学問分野において顕著な熟練性を示している。 しかしながら、人間の知識は200以上の専門分野を含み、既存のベンチマークの範囲をはるかに超えている。 285分野にわたる大学院レベルの知識と推論能力を評価するベンチマークであるSuperGPQAを提案する。
  論文  参考訳（メタデータ） (2025-02-20T17:05:58Z)
• CLR-Bench: Evaluating Large Language Models in College-level Reasoning [17.081788240112417]
  大規模言語モデル(LLM)は、様々な言語理解タスクで顕著な性能を示した。 複雑な大学レベルの推論において,LLMを包括的に評価するためにCLR-Benchを提案する。
  論文  参考訳（メタデータ） (2024-10-23T04:55:08Z)
• Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
  本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。 まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。 驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
  論文  参考訳（メタデータ） (2023-12-04T18:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。