Fugu-MT: arxivの論文翻訳
Daily Report / 2026-08-18

注目論文デイリーレポート

2026-08-18 1 論文

ASI-Bench: At the Dawn of Artificial Superintelligence

著者 Junwei Zhou, Zhen Sun, Binyu Li, Jiangyu Zhou, Yuexi Pan, Hengyu Wang, Honghe Ren, Xiaohan Jia, Xueyang Zhou, Xiaoyu Cao, Yongchao Chen, Yuanning Feng, Junhao Wu, Cheng Zhang, Sijia Chen, Haoyu Xue, Chengsong You, Huan Wang, Koutian Wu, Peigan Gao, Jiakun Wu, Wenzhe Li, Ergan Shang, Qingyuan Zheng, Jingjing Zhou, Ruixuan Jia, Yan Xu, Hongrui Zhang, Xiao-Han Ma, Zhengxiang Cheng, Yuexing Hao, Liting Mai, Xianglin Ji, Wenjun Zhang, Zhuofan Chen, Yixiao Huang, Chi Wang, Wenyue Hua, Yilun Hao, Yuantao Zhai, Ziyan Zhao, Jingyan Xie
所属 Tsinghua University / Independent Researcher / AG2 AI / Carnegie Mellon University / Boston University / Harvard University / University of Michigan / University of Illinois Urbana-Champaign / University of Science and Technology of China / The Flatiron Institute / The University of Queensland / Microsoft / Massachusetts Institute of Technology
カテゴリ Evaluation / Benchmarking / Multi-domain AI system evaluation, Application / Scientific AI / Autonomous scientific task performance, Method / Agent Models / Evaluation of agent-based AI systems
ライセンス CC BY 4.0

Abstractの概要

ASI-Benchは、人間の方法論的ガイダンスが段階的に削減される中で、AIシステムがプロジェクトレベルの科学研究を遂行できるかを評価するためのベンチマークである。11の科学分野にわたる60のタスクが含まれており、完全な手順ガイダンスから最小限のガイダンスとディストラクターを含む設定まで、B1〜B4の段階的な設定が用意されている。このベンチマークは、科学的妥当性と採点の信頼性を確保するため、広範な専門家のレビュー、AI支援による監査、サンドボックスでの実行を通じて構築および検証された。18のエージェント・モデル構成において、指示下での実行だけでなく、手法の選択、長期的な研究行動、検証可能な研究成果物の生成を測定するために使用される。

新規性

本論文は、複数の研究分野にわたり革新的な探索と自律的な科学的実行を統合的に評価する初のベンチマークを導入している。その特徴は、タスク内で方法論的サポートを段階的に排除するガイダンス勾配（B1〜B4）であり、現在のシステムが人間の手順にどれだけ依存しているかを直接測定できる点にある。

成果

ガイダンスが削減されるとパフォーマンスは急激に低下し、評価対象全システムの平均スコアはB1の50.91からB2で29.10、B3で26.62に低下した（B4は26.99でB3と同等）。B3で最も高かった結果はCodexとGPT-5.6 Sol (ultra)の組み合わせによる51.60であり、この設定で50を超えた唯一の構成であった。また実験から、ハーネスの選択が結果に大きく影響すること、計算コストの高さが必ずしも科学的パフォーマンスの向上をもたらすわけではないことも示された。

論文の注目点

  1. ASI-Benchは、科学的自律性を検証するためにB1〜B4のガイダンス勾配を使用し、11分野にわたる60のプロジェクトレベルの研究タスクを評価する。
  2. 現在のエージェント・モデルシステムは依然として詳細な手順ガイダンスに強く依存しており、B2からB3への低下よりもB1からB2へのパフォーマンス低下の方がはるかに大きい。
  3. システムのパフォーマンスはバックボーンモデルだけでなくエージェントハーネスにも依存しており、計算コストとベンチマーク成績との間には完全な相関関係は見られない。

参考リンク

GitHub Hugging Face Hugging Face Project
このページはGPT-5、Claude Opus 4、Gemini 3、Gemini 3.1 Flash Image 及びその上位バージョンなどの生成AIを用いて作成されています。内容の保証は一切できません。