論文の概要: AcademiClaw: When Students Set Challenges for AI Agents

• arxiv url: http://arxiv.org/abs/2605.02661v1
• Date: Mon, 04 May 2026 14:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.34381
• Title: AcademiClaw: When Students Set Challenges for AI Agents
• Title（参考訳）: AcademiClaw: 学生がAIエージェントに挑戦する時
• Authors: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou, Binghao Qiang, Borui Zhang, Chenning Li, Enchang Zhang, Feifan Chen, Feng Jian, Fengyin Sun, Hao Qiu, Hao Zheng, Haoran Zhu, Hongyu Liu, Jianbin Deng, Jiaxin Song, Jiaying Chi, Jiayou Shi, Jie Fang, Jinghui Zhong, Jingyu Zhou, Jinze Li, Junfeng Yi, Junyan Yu, Junzhi Xue, Ni Song, Pengyi Chen, Qi Chen, Quansheng Li, Rui Tao, Shenghai Gong, Shenhang Lu, Tianqi Shen, Tianxiang Zhu, Tiehan Kang, Tingyu Li, Wendi Wu, Xiao Shen, Xiao Zhou, Xiaotao Zhang, Xinrong Li, Xuankun Yang, Xun Zhang, Yan Li, Ye Lu, Yi Wang, Yibo Zhou, Yichi Zhang, Yihao Sun, Yijun Huang, Yixin Zhu, Yixuan Wu, Yuchen Sun, Yue Wu, Yuheng Sun, Yukun Li, Yutian Tu, Yuxuan Qin, Yuzhuo Wu, Zeyu Li, Zhengyu Lou, Zhenning Ran, Zizhu He, Pengfei Liu,
• Abstract要約: AcademiClaw(アカデミクロー)は、大学生の実際の学術的切断から直接引き出された80の複雑な長い水平タスクのベンチマークである。 最高のモデルでさえ、55%のパスレートしか達成できないことを示す。 AcademiClawとそのオープンソースデータとコードが、OpenClawコミュニティにとって有用なリソースになることを願っています。
• 参考スコア（独自算出の注目度）: 69.70303995121154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks within the OpenClaw ecosystem have thus far evaluated exclusively assistant-level tasks, leaving the academic-level capabilities of OpenClaw largely unexamined. We introduce AcademiClaw, a bilingual benchmark of 80 complex, long-horizon tasks sourced directly from university students' real academic workflows -- homework, research projects, competitions, and personal projects -- that they found current AI agents unable to solve effectively. Curated from 230 student-submitted candidates through rigorous expert review, the final task set spans 25+ professional domains, ranging from olympiad-level mathematics and linguistics problems to GPU-intensive reinforcement learning and full-stack system debugging, with 16 tasks requiring CUDA GPU execution. Each task executes in an isolated Docker sandbox and is scored on task completion by multi-dimensional rubrics combining six complementary techniques, with an independent five-category safety audit providing additional behavioral analysis. Experiments on six frontier models show that even the best achieves only a 55\% pass rate. Further analysis uncovers sharp capability boundaries across task domains, divergent behavioral strategies among models, and a disconnect between token consumption and output quality, providing fine-grained diagnostic signals beyond what aggregate metrics reveal. We hope that AcademiClaw and its open-sourced data and code can serve as a useful resource for the OpenClaw community, driving progress toward agents that are more capable and versatile across the full breadth of real-world academic demands. All data and code are available at https://github.com/GAIR-NLP/AcademiClaw.
• Abstract（参考訳）: OpenClawエコシステム内のベンチマークは、これまでアシスタントレベルのタスクのみを評価しており、OpenClawの学術レベルの能力はほとんど検討されていない。 AcademiClawは、大学生の実際の学術的ワークフロー(宿題、研究プロジェクト、コンペティション、個人プロジェクト)から直接引き出された、80の複雑な長い水平タスクのバイリンガルベンチマークで、現在のAIエージェントが効果的に解決できないことを発見した。 厳格な専門家レビューを通じて230名の学生候補から算出された最終タスクセットは、オリンピックレベルの数学や言語学の問題からGPU集約的な強化学習、フルスタックシステムデバッグまで、25以上の専門領域にまたがる。 各タスクは分離されたDockerサンドボックスで実行され、6つの補完的なテクニックを組み合わせた多次元ルーリックによってタスク完了時にスコア付けされる。 6つのフロンティアモデルの実験では、最良でも55\%のパスレートしか達成できないことが示されている。 さらに分析によって、タスクドメイン間のシャープな機能境界、モデル間の振る舞い戦略のばらつき、トークン消費と出力品質の切り離しが明らかになった。 AcademiClawとそのオープンソースデータとコードは、OpenClawコミュニティにとって有用なリソースになり得ることを願っている。 すべてのデータとコードはhttps://github.com/GAIR-NLP/AcademiClawで入手できる。

関連論文リスト

• Agentic AI in the Software Development Lifecycle: Architecture, Empirical Evidence, and the Reshaping of Software Engineering [0.0]
  現代のエージェントシステムは、リポジトリ、機能、アルゴリズムの粒度で機能する。 本稿ではエージェントソフトウェア工学システムのための6層参照アーキテクチャを提案する。 調査の中心的な対象は、コード生成から人事監督下での委任執行へと移行したと論じる。
  論文  参考訳（メタデータ） (2026-04-29T04:06:47Z)
• AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
  AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。 Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。 本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
  論文  参考訳（メタデータ） (2026-02-06T16:45:02Z)
• Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
  Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。 ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。 将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
  論文  参考訳（メタデータ） (2026-01-17T01:29:30Z)
• The Lazy Student's Dream: ChatGPT Passing an Engineering Course on Its Own [3.2334676138718677]
  本稿では,Large Language Models (LLMs) の制御系コースを成功させる能力について包括的に検討する。 現実的な学生の利用パターンをシミュレートする「最小限の努力」プロトコルの下で,ChatGPTを用いてLCMの性能を評価する。 我々の分析は、制御システム工学における数学的定式化、コーディングの課題、理論的概念を扱う際のAIの強みと限界に関する定量的洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-23T18:47:14Z)
• MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
  大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。 ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。 3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-18T00:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。