論文の概要: What Makes a Good Terminal-Agent Benchmark Task: A Guideline for Adversarial, Difficult, and Legible Evaluation Design
- arxiv url: http://arxiv.org/abs/2604.28093v1
- Date: Thu, 30 Apr 2026 16:37:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:54.202233
- Title: What Makes a Good Terminal-Agent Benchmark Task: A Guideline for Adversarial, Difficult, and Legible Evaluation Design
- Title（参考訳）: 優れた端末エージェントベンチマークタスクとは何か: 逆境, 困難, そして, 妥当な評価設計のためのガイドライン
- Abstract要約: 本稿では,端末ベンチのための優れたベンチマークタスクを記述するためのガイドラインである。
よいタスクは敵意があり、困難で、正当である、と私たちは主張する。
一般的な端末エージェントベンチマークにおけるタスクの15%以上が報奨可能であるという最近の実証的証拠について論じる。
- 参考スコア（独自算出の注目度）: 1.8420149175440346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Terminal-agent benchmarks have become a primary signal for measuring the coding and system-administration capabilities of large language models. As the market for evaluation environments grows, so does the pressure to ship tasks quickly, often without thorough adversarial review of the verification logic. This paper is a guideline for writing good benchmark tasks, drawn from over a year of contributing to and reviewing tasks for Terminal Bench. Most people write benchmark tasks the way they write prompts. They shouldn't. A prompt is designed to help the agent succeed; a benchmark is designed to find out if it can. We argue that good tasks are adversarial, difficult, and legible, and that a large class of common failure modes -- AI-generated instructions, over-prescriptive specifications, clerical difficulty, oracle solutions that assume hidden knowledge, tests that validate the wrong things, and reward-hackable environments -- are predictable consequences of treating task authoring as prompt authoring. We catalog these failure modes, argue that real difficulty is conceptual rather than environmental, and discuss recent empirical evidence that over 15% of tasks in popular terminal-agent benchmarks are reward-hackable. We hope this serves as a useful reference for benchmark maintainers, task contributors, and researchers using benchmark scores as evidence.
- Abstract（参考訳）: 端末エージェントベンチマークは、大規模言語モデルの符号化能力とシステム管理能力を測定する主要な信号となっている。
評価環境の市場が拡大するにつれて、検証ロジックを徹底的に検証することなく、迅速にタスクを出荷する圧力も高まる。
本稿では1年以上にわたるContination Benchのタスクへのコントリビューションとレビューから,優れたベンチマークタスクを書くためのガイドラインである。
ほとんどの人は、プロンプトを書くのと同じように、ベンチマークタスクを書きます。
彼らはすべきではない。
プロンプトはエージェントが成功するのを助けるように設計されている。
優れたタスクは敵意があり、困難で、妥当であり、AI生成の命令、過剰な記述仕様、聖職者の難しさ、隠れた知識を仮定するオラクルソリューション、間違ったことを検証するテスト、そして報奨可能な環境など、多くの一般的な障害モードは、タスクオーサリングをプロンプトオーサリングとして扱うという予測可能な結果である、と私たちは主張する。
我々はこれらの障害モードをカタログ化し、実際の困難は環境よりも概念的であると主張し、人気のある端末エージェントベンチマークにおけるタスクの15%以上が報奨可能であるという最近の実証的証拠について議論する。
これは、ベンチマークのメンテナ、タスクコントリビュータ、そしてベンチマークスコアを証拠として使用する研究者にとって有用なリファレンスになることを期待しています。
関連論文リスト
- Tasks over Application Manuals: Revealing Gaps in Long-Horizon Procedural Reasoning for Language Models [2.6851230921077742]
大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて高い性能を達成している。
本稿では,長期的手続き的推論のベンチマークであるタスク・オーバー・アプリケーション・マニュアル(TAM)を紹介する。
ICD-10-CMクリニカルコーディングと米国の連邦判決という2つの領域から現実世界のタスクをキュレートしてTAMを構築する。
論文 参考訳（メタデータ） (2026-09-11T16:04:00Z) - What Makes Software Issue Resolution Tasks Difficult for Agents? [5.974359772961166]
問題解決タスクのエージェント成功率に対応するソフトウェアタスクの構造特性について検討する。
コーディングエージェントトラジェクトリの最大オープンデータセットであるCoderForge-Previewについて,大規模な実証的研究を行った。
論文 参考訳（メタデータ） (2026-08-18T19:59:16Z) - How Well Can AI Generate Backlogs from App Mockups? [5.513644888428808]
ビジュアルアプリのモックアップからバックログを生成するためのマルチモーダルアプローチを提案する。
2つの国で7つのアプリ開発プロジェクトを調査し、その結果について開発者にインタビューした。
論文 参考訳（メタデータ） (2026-07-24T20:40:22Z) - Odysseys: Benchmarking Web Agents on Realistic Long Horizon Tasks [67.44219836008348]
我々はOdysseysについて紹介する。Odysseysは、ライブインターネット上で評価された実世界のブラウジングセッションから得られた200のロングホライゾンWebタスクのベンチマークである。
その結果,2進パス/フェイル評価は長距離設定では不十分であり,各Odysseysタスクに平均6.1グレードのルーリックをアノテートするルーリックに基づく評価が導入された。
最強のモデルは44.5%の成功率に達しており、将来の改善の余地は十分にある。
論文 参考訳（メタデータ） (2026-04-27T20:05:41Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。
このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。
我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
論文 参考訳（メタデータ） (2025-07-03T17:35:31Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳（メタデータ） (2025-04-11T19:49:22Z) - Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
モデル信頼性の定量化について検討する。
信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。
我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
論文 参考訳（メタデータ） (2025-02-05T18:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。