Fugu-MT 論文翻訳(概要): Agents' Last Exam

論文の概要: Agents' Last Exam

arxiv url: http://arxiv.org/abs/2606.05405v1
Date: Wed, 03 Jun 2026 20:20:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-05 22:39:44.384213
Title: Agents' Last Exam
Title（参考訳）: エージェントの最後のエグザム
Abstract要約: 本稿では,AIエージェントを長期的,経済的に価値のある実世界のタスクで評価するためのベンチマークであるエージェントのLast Exam(ALE)を紹介する。 ALEは250以上の業界の専門家と共同で開発され、O*NET / SOC 2018を参照して定義された非物理産業をカバーしている。現在の結果は、最も硬い層が飽和していないことを示している:主流のハーネスとバックボーンの構成で、平均フルパスレートは2.6%である。
参考スコア（独自算出の注目度）: 265.9133708028224
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent AI systems have achieved strong results on a wide range of benchmarks, yet these gains have not translated into economically meaningful deployment across many professional domains. We argue that this gap is largely an evaluation problem: widely used benchmarks lack sustained performance measurement on real and economically valuable workflows. This paper introduces Agents' Last Exam (ALE), a benchmark designed to evaluate AI agents on long-horizon, economically valuable, real-world tasks with verifiable outcomes. Developed in collaboration with 250+ industry experts, ALE covers non-physical industries defined with reference to O*NET / SOC 2018 (the U.S. federal occupational taxonomy). It is organized around a task taxonomy with 55 subfields grouped into 13 industry clusters covering 1K+ tasks. Current results show that the hardest tier remains far from saturated: across mainstream harness and backbone configurations, the average full pass rate is 2.6%. ALE is designed as a living benchmark: its task pool grows continuously as new workflows and industries are onboarded. More broadly, ALE is intended not merely as another leaderboard, but as an instrument for closing the gap between benchmark success and GDP-relevant impact.
Abstract（参考訳）: 最近のAIシステムは、幅広いベンチマークで強い成果を上げているが、これらの利益は、多くの専門分野にわたって経済的に意味のあるデプロイメントに変換されていない。広く使用されているベンチマークには、現実および経済的に価値のあるワークフローにおける持続的なパフォーマンス測定が欠如している。本稿では,長期的,経済的に価値のある実世界のタスクにおいて,AIエージェントを検証可能な結果で評価するためのベンチマークであるエージェントのLast Exam(ALE)を紹介する。 ALEは250以上の産業の専門家と共同で開発され、O*NET / SOC 2018 (合衆国の職業分類学)を参照して定義された非物理学産業をカバーしている。 55のサブフィールドが1K以上のタスクをカバーする13の産業クラスターにグループ化されているタスク分類を中心に組織されている。現在の結果は、最も硬い層が飽和していないことを示している:主流のハーネスとバックボーンの構成で、平均フルパスレートは2.6%である。 ALEは生きたベンチマークとして設計されており、新しいワークフローや業界が稼働するにつれて、タスクプールは継続的に成長する。より広範に言えば、ALEは単に別のリーダーボードとしてではなく、ベンチマークの成功とGDP関連の影響のギャップを埋めるための手段として意図されている。

関連論文リスト

StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows [63.57092302641323]
textbfStartupBenchは、市場価値の高いAIスタートアップ製品に根ざしたE2Eエージェントベンチマークである。我々は、AIが現実的な需要を確立した現実的なタスクを特定するために、製品やユーザとともに、AI製品の採用を実証して研究する。以上の結果から,現在の汎用エージェントの信頼性を超越した,市場価値の高いエージェントが多数存在することが明らかとなった。
論文参考訳（メタデータ） (2026-08-18T14:01:32Z)
Welfare, Improvability, and Variance: A Principal-Agent Approach to Optimal Benchmark Item Aggregation [19.980368400366352]
マルチタスクのプリンシパルエージェントゲームとしてベンチマークをモデル化し、ベンチマークによる福祉損失を3つのアイテムレベルプリミティブで共同で決定することを示す。我々は、福祉用ORKBank、即効性用EvoLM 4Bスイート、分散用PolyPythias 410Mパネルを用いたOLMES項目にこの理論を適用した。
論文参考訳（メタデータ） (2026-05-29T07:01:38Z)
BankerToolBench: Evaluating AI Agents in End-to-End Investment Banking Workflows [12.076413424824679]
既存のAIベンチマークには、プロフェッショナルに対して経済的に意味のある進歩を評価するための忠実さが欠けている。高価値で労働集約的な職業におけるフロンティアAIエージェントを評価するために、BankerToolBench(BTB)を紹介する。 BTBは、ジュニア・インベストメント・バンカーが定期的に実施するエンドツーエンドの分析成果のオープンソースベンチマークである。
論文参考訳（メタデータ） (2026-04-13T11:02:32Z)
OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文参考訳（メタデータ） (2026-04-13T00:27:32Z)
COMPOSITE-Stem [32.17652486099204]
COMPOSITE-STEMは、物理学、生物学、化学、数学における70の専門的なタスクのベンチマークである。我々のベンチマークでは、正確なマッチンググレーティングとクレーターベースのルーリックとアズ・ア・ジャイグリーグレーディングプロトコルを組み合わせる。トップパフォーマンスモデルは21%を実現し、ComposITE-STEMが現在のエージェントリーチを超える能力をキャプチャすることを示した。
論文参考訳（メタデータ） (2026-04-10T19:08:50Z)
The AI Transformation Gap Index (AITG): An Empirical Framework for Measuring AI Transformation Opportunity, Disruption Risk, and Value Creation at the Industry and Firm Level [0.0]
本稿では,AIトランスフォーメーションギャップ指数(AI Transformation Gap Index, AITG)について紹介する。私はこのフレームワークを22の業種で調整し、公開申請書を使って14の公企業に適用します。最大のAIトランスフォーメーションギャップは、実装の摩擦、CESのボトルネック、タイミングラグが広いギャップの理論上の優位性を損なうため、価値密度を最大化しない。
論文参考訳（メタデータ） (2026-02-27T10:54:58Z)
AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。 Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
論文参考訳（メタデータ） (2026-02-06T16:45:02Z)
WideSearch: Benchmarking Agentic Broad Info-Seeking [26.110175228335894]
大規模コレクションタスクにおいてエージェントの信頼性を評価するために設計された新しいベンチマークであるWideSearchを紹介する。ベンチマークでは、実際のユーザクエリに基づいて、15以上のさまざまなドメインから200の質問を手作業でキュレートする。我々は、シングルエージェント、マルチエージェントフレームワーク、エンドツーエンドの商用システムを含む、10以上の最先端のエージェント検索システムをベンチマークする。
論文参考訳（メタデータ） (2025-08-11T14:03:09Z)
FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks [52.47895046206854]
FieldWorkArenaは、現実世界のフィールドワークをターゲットにしたエージェントAIのベンチマークである。本稿では、エージェントAIが現実世界の作業環境ベンチマークのために持つべき新しいアクション空間を定義する。
論文参考訳（メタデータ） (2025-05-26T08:21:46Z)
The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
論文参考訳（メタデータ） (2024-12-06T23:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。