論文の概要: AcademiClaw: When Students Set Challenges for AI Agents
- arxiv url: http://arxiv.org/abs/2605.02661v1
- Date: Mon, 04 May 2026 14:40:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.34381
- Title: AcademiClaw: When Students Set Challenges for AI Agents
- Title（参考訳）: AcademiClaw: 学生がAIエージェントに挑戦する時
- Abstract要約: AcademiClaw(アカデミクロー)は、大学生の実際の学術的切断から直接引き出された80の複雑な長い水平タスクのベンチマークである。
最高のモデルでさえ、55%のパスレートしか達成できないことを示す。
AcademiClawとそのオープンソースデータとコードが、OpenClawコミュニティにとって有用なリソースになることを願っています。
- 参考スコア（独自算出の注目度）: 69.70303995121154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmarks within the OpenClaw ecosystem have thus far evaluated exclusively assistant-level tasks, leaving the academic-level capabilities of OpenClaw largely unexamined. We introduce AcademiClaw, a bilingual benchmark of 80 complex, long-horizon tasks sourced directly from university students' real academic workflows -- homework, research projects, competitions, and personal projects -- that they found current AI agents unable to solve effectively. Curated from 230 student-submitted candidates through rigorous expert review, the final task set spans 25+ professional domains, ranging from olympiad-level mathematics and linguistics problems to GPU-intensive reinforcement learning and full-stack system debugging, with 16 tasks requiring CUDA GPU execution. Each task executes in an isolated Docker sandbox and is scored on task completion by multi-dimensional rubrics combining six complementary techniques, with an independent five-category safety audit providing additional behavioral analysis. Experiments on six frontier models show that even the best achieves only a 55\% pass rate. Further analysis uncovers sharp capability boundaries across task domains, divergent behavioral strategies among models, and a disconnect between token consumption and output quality, providing fine-grained diagnostic signals beyond what aggregate metrics reveal. We hope that AcademiClaw and its open-sourced data and code can serve as a useful resource for the OpenClaw community, driving progress toward agents that are more capable and versatile across the full breadth of real-world academic demands. All data and code are available at https://github.com/GAIR-NLP/AcademiClaw.
- Abstract（参考訳）: OpenClawエコシステム内のベンチマークは、これまでアシスタントレベルのタスクのみを評価しており、OpenClawの学術レベルの能力はほとんど検討されていない。
AcademiClawは、大学生の実際の学術的ワークフロー(宿題、研究プロジェクト、コンペティション、個人プロジェクト)から直接引き出された、80の複雑な長い水平タスクのバイリンガルベンチマークで、現在のAIエージェントが効果的に解決できないことを発見した。
厳格な専門家レビューを通じて230名の学生候補から算出された最終タスクセットは、オリンピックレベルの数学や言語学の問題からGPU集約的な強化学習、フルスタックシステムデバッグまで、25以上の専門領域にまたがる。
各タスクは分離されたDockerサンドボックスで実行され、6つの補完的なテクニックを組み合わせた多次元ルーリックによってタスク完了時にスコア付けされる。
6つのフロンティアモデルの実験では、最良でも55\%のパスレートしか達成できないことが示されている。
さらに分析によって、タスクドメイン間のシャープな機能境界、モデル間の振る舞い戦略のばらつき、トークン消費と出力品質の切り離しが明らかになった。
AcademiClawとそのオープンソースデータとコードは、OpenClawコミュニティにとって有用なリソースになり得ることを願っている。
すべてのデータとコードはhttps://github.com/GAIR-NLP/AcademiClawで入手できる。
関連論文リスト
- OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios [25.68270661401607]
OmniaBenchは、明示的な状態空間を持つ様々なシナリオにまたがる汎用エージェントを評価するベンチマークである。
実行環境を構築し,4つの相補経路を通した単一ターンタスクと複数ターンタスクを合成する。
ベンチは現在のフロンティアモデルに重大な課題を示しており、クロード・ソネット-5とGPT-5.6-ソルもそれぞれ58.54点と57.14点の総合パス@1点を達成している。
論文 参考訳（メタデータ） (2026-07-16T13:38:07Z) - OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks [98.07146747892239]
OSWorld 2.0は、日常的および専門的なタスクにまたがる108の長い水平コンピュータ使用のベンチマークである。
各タスクは現実的なエンド・ツー・エンドのワークフローを表しており、人間のユーザーの中央値は1.6時間である。
論文 参考訳（メタデータ） (2026-06-28T17:59:17Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - Agentic AI in the Software Development Lifecycle: Architecture, Empirical Evidence, and the Reshaping of Software Engineering [0.0]
現代のエージェントシステムは、リポジトリ、機能、アルゴリズムの粒度で機能する。
本稿ではエージェントソフトウェア工学システムのための6層参照アーキテクチャを提案する。
調査の中心的な対象は、コード生成から人事監督下での委任執行へと移行したと論じる。
論文 参考訳（メタデータ） (2026-04-29T04:06:47Z) - MatClaw: An Autonomous Code-First LLM Agent for End-to-End Materials Exploration [0.0]
我々は、Pythonを直接書き、実行するためのコードファーストエージェントであるMatchClawを提示する。
MatClawはコード生成を確実に扱うが、暗黙のドメイン知識に苦慮している。
その結果、ガイド付きと完全に自律的な計算材料研究のギャップはこれまで以上に狭くなっていることが明らかとなった。
論文 参考訳（メタデータ） (2026-04-03T03:32:15Z) - AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。
Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。
本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
論文 参考訳（メタデータ） (2026-02-06T16:45:02Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - The Lazy Student's Dream: ChatGPT Passing an Engineering Course on Its Own [3.2334676138718677]
本稿では,Large Language Models (LLMs) の制御系コースを成功させる能力について包括的に検討する。
現実的な学生の利用パターンをシミュレートする「最小限の努力」プロトコルの下で,ChatGPTを用いてLCMの性能を評価する。
我々の分析は、制御システム工学における数学的定式化、コーディングの課題、理論的概念を扱う際のAIの強みと限界に関する定量的洞察を提供する。
論文 参考訳（メタデータ） (2025-02-23T18:47:14Z) - MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。
ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。
3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-07-18T00:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。