Fugu-MT: arxivの論文翻訳
Daily Report / 2026-06-03

注目論文デイリーレポート

2026-06-03 1 論文

Agents' Last Exam

著者 Yiyou Sun, Xinyang Han, Weichen Zhang, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, Chris Duroiu, Haoyun Zhang, Jeffrey Lin, Weishu Zhang, Tyler Zeng, Ying Yan, Bo Liu, Hanson Wen, Mingyang Xu, Xiaoyuan Liu, Zimeng Chen, Weiyan Shi, Amanda Dsouza, Vincent Sunn Chen, Patrick Bryant, Carl Boettiger, Yamini Rangan, Bradley Rothenberg, Kyle Steinfeld, Arvind Rao, Tapio Schneider, Georgios Yannakakis, Laure Zanna, Kaan Ozbay, Ida Sim, Tarek Zohdi, George Em Karniadakis, Jack Gallant, Teresa Head-gordon, Yushan Li, Wenxi Deng, Tao Sun, Huiqi Wang, Zhun Wang, Justin Xu, Chris Yuhao Liu, Yafei Cheng, Rongwang Hu, Aras Bacho, Shengcao Cao, Zengyi Qin, Yixiong Chen, Hengduan Fan, Hao Liu, Lin Zeng, Shashank Muralidhar Bharadwaj, Litian Gong, Yingxuan Yang, Maojia Song, Ruheng Wang, Zongzheng Zhang, Honglin Bao, Shuo Lu, Jianhong Tu, Zhonghua Wang, Zheng Zhang, Zijiao Chen, yanqiong Jiang, Zhendong Li, Bohan Lyu, Chang Ma, Peiran Xu, Benran Zhang, Shangding Gu, Haoyue Hua, Haoyang Li, Wanzhe Liao, Chengzhi Liu, Junbo Peng, Haoran Sun, Zechen Xu, Bo Chen, Jiayi Cheng, Yi Jiang, Keying Kuang, Yuan Li, Youbang Pan, Ziyan Rao, Alexander Schubert, Yifan Shen, Vincent Siu, Xiatao Sun, Kangqi Zhang, Xiaopan Zhang, Yuchen Zhu, Ishaan Singh Chandok, Lei Ding, Jingxuan Fan, Andrew Glover, Jiaming Hu, Yiran Hu, Wenbo Huang, Zixin Jiang, Haoran Jin, Lukas Kim, Ming Liu, Yang Liu, Alireza Rafiei, Xuhuan Shen, Kunyang Sun, Sophia Sun, Ting Sun, Eric Wang, Yixin Wang, Hanwen Xing, Sihan Xu, Yuzheng Xu, Zhongxing Xu, Zhiling Yan, Boqin Yuan, Ruiqi Zhang, Yifan Zhang, Zibo Zhao, Liana, Santanu Bosu Antu, Haoyue Bai, Carlo Bosio, Joseph Cavanagh, Patricia Cavazos-Rehg, Tianxing Chen, Xuewen Chen, Yipu Chen, Zhu Chenyu, Chen Dai, Stefano De Castro, Yunfu Deng, Kaustubh Dhole, Jiayuan Ding, Chenchen Du, Zhehang Du, Hao Fan, Run-ze Fan, Hengyu Fu, Shi Gu, Yifan Gu, Charlie Guo, Baihe Huang, Baixiang Huang, Rimika Jaiswal, Zhihan Jiang, Ran Jin, Erin Kasson, Xin Lan, Joseph Lee, Deren Lei, Chenyu Li, Daofeng Li, Haitao Li, Hongwei Li, Jingyan Li, Xiao Li, Yi Li, Yinsheng Li, Yuangang Li, Zhixu Li, Wenyu Liang, Longtai Liao, Kevin Qinghong Lin, AndyZeyi Liu, Che Liu, Jiaming Liu, Kaiyuan Liu, Xuan Liu, Pan Lu, Wenbo Lv, Yicheng Lv, Qiuyang Mang, Kyle Montgomery, Yuzhou Nie, Ruoxi Ning, Jorin Overwiening, Xu Pan, Layna Paraboschi, Core Francisco Park, Justin Purnomo, Swati Rajwal, Scott Rankin, Bixuan Ren, Yiren Rong, HaoYang Shang, Ventus Shaw, Fiona Shen, Jiawei Shen, Minqi Shi, Qiu Shi, Huaxiu Yao, Tianneng Shi, Jonah So, Vladislav Susoy, Hannah Szlyk, Haocheng Wang, Jialu Wang, Wei Wang, Xinyu Wang, Zehao Wang, Dowling Wong, Angela Wu, Dehao Wu, Fangyu Wu, Mengyuan "Millie" Wu, Yu Wu, Yuchen Wu, Yuhao Wu, Qingpo Wuwu, Weihang Xiao, Yongyi Xiong, Fan Xu, Ruiling Xu, Mingxuan Yan, Benjamin Yang, Jirong Yang, Sen Yang, Xiaoli Yang, Yushi Yang, Haoran Ye, Xiaohu Yu, Zhengming Yu, Chenlong Zhang, Chi Zhang, Hanning Zhang, Hanwen Zhang, Junge Zhang, Kunpeng Zhang, Song Zhang, Wenjin Zhang, Wenshuo Zhang, Ying Zhang, Yizhi Zhang, Brian Zhao, Qijian Zhao, Yimin Zhao, Yuhaohua Zheng, Liwei Zhou, Tianyue Zhou, Sichen Zhu, Siqi Zhu, Yan Zhu, Yishu Zhu, Jierui Zuo, Chonghao Cai, Helena Casademunt, Wenjia Chen, Benjamin Cheng, Nawen Deng, Rao Fu, Tianfu Fu, Yifan Han, Ren He, Zhenyu He, Qiao Jin, Lang Lang, Yuetai Li, Sylvia Liu, Lu Lu, Qing Lu, Subhabrata Mukherjee, Yunqi Ouyang, Yin Ren, Dawei Shi, Haoran Wu, Zhiyue Wu, Hannah Yao, Zhuoran Yi, Jenny Yu, Rhea Zhan, Hang Zhou, Blake Zhu, Junfan Zhu, Alan Yuille, Russell Alan Poldrack, Jiachen Li, Zhenglu Li, Molei Tao, Jing Huang, Wenqi Shi, Costas Spanos, Lichao Sun, Chenguang Wang, Orson Xu, Zhen Dong, Hector Gomez, Aylin Caliskan, Ali Emami, Haimin Hu, Zhi Li, Lihui Liu, Murphy Niu, Yi Shao, Jianxin Sun, Mikko Tolonen, Ting Wang, Sanjiv Das, Yanjun Gao, Wenbo Guo, Erika J Schneider, Zhiyong Lu, Mark Mueller, Radha Poovendran, Somayeh Sojoudi, Dawn Song
所属 University of California, Berkeley
カテゴリ Evaluation / Agent Evaluation / Real-world long-term tasks, Method / Benchmarking / Development with industry experts, Application / Economic AI Tasks / Non-physical industry coverage
ライセンス CC BY 4.0

Abstractの概要

Agents' Last Exam（ALE）は、検証可能な結果を伴う、経済的価値のある長期的な現実世界のタスクにおいてAIエージェントを評価するためのベンチマークである。このベンチマークは250名以上の業界専門家と共同で開発され、O*NET / SOC 2018の職業分類に基づく非物理的産業をカバーする13の産業クラスター内の55のサブ分野で構成されている。タスクは実際のプロフェッショナルなワークフローから派生しており、通常GUIとCLIの両方の操作を必要とし、可能な限り自由形式の人間による評価ではなく、決定論的または厳密にルーブリック化された成果物チェックによって評価される。本論文では、ALEを、データ汚染を減らし長期的な評価価値を維持するために、タスクプールの大部分を非公開とする「生きたベンチマーク（living benchmark）」と位置づけている。

新規性

本論文の主な新規性は、幅広い業界の網羅性、専門家から提供された実際のプロフェッショナルなワークフロー、そして長期的なエージェント評価のための自動検証を組み合わせたベンチマークであるという点である。より限定的、短期的、あるいは人間による評価に依存する従来のベンチマークとは異なり、ALEは現実性と検証可能性を保ちながら、対象となる55のサブ領域すべてを網羅するように設計されている。

成果

ALEは1,490のタスクインスタンスの規模で提供され、55のサブ領域すべてをカバーしており、評価用に150タスクの公開サブセットが用意されている。経験的に、現在のエージェントはこのベンチマークの最難関層でのパフォーマンスが低く、主流のハーネスやバックボーン構成での平均完全合格率が2.6%にとどまっており、まだ大きな改善の余地があることを示している。また本論文は、適切に設計されたシステムにおいては、パフォーマンスはハーネスよりも基盤モデルによって大きく変動すること、また実行時間やトークン使用量の増加が必ずしも良い結果をもたらすわけではないことも報告している。

論文の注目点

  1. ALEは、同一タスク内でGUIとCLIの両方の操作をしばしば要求する、実際の包括的なプロフェッショナルワークフローにおいて、汎用的なコンピュータ操作エージェントを評価する。
  2. このベンチマークはO*NET / SOC 2018に基づく職業分類に立脚しており、13の産業クラスターにおける55のサブ領域を網羅し、ドメイン専門家によって提供およびレビューされたタスクで構成されている。
  3. 現在のベンチマーク結果は、経済的に意味のある長期的なワークフローが最先端のエージェントにとっても依然として困難であり、特に最難関のタスク層において顕著であることを示唆している。

参考リンク

GitHub Hugging Face Project
このページはGPT-5、Claude Opus 4、Gemini 3、Gemini 3.1 Flash Image 及びその上位バージョンなどの生成AIを用いて作成されています。内容の保証は一切できません。