論文の概要: Asuka-Bench: Benchmarking Code Agents on Underspecified User Intent and Multi-Round Refinement
- arxiv url: http://arxiv.org/abs/2606.05920v1
- Date: Thu, 04 Jun 2026 09:24:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.689677
- Title: Asuka-Bench: Benchmarking Code Agents on Underspecified User Intent and Multi-Round Refinement
- Title（参考訳）: uka-Bench: 未特定ユーザインテントとマルチルートリファインメントのベンチマークコードエージェント
- Authors: Xin Wang, Liangtai Sun, Yaoming Zhu, Shuang Zhou, Jiaxing Liu, Fengjiao Chen, Lin Qiu, Xuezhi Cao, Xunliang Cai, Licheng Zhang, Zhendong Mao,
- Abstract要約: マルチラウンドリファインメントと不特定ユーザ意図を組み合わせたベンチマークであるAuka-Benchを提示する。
ベンチマークは、Webタスク50、評価基準784、予測結果2402からなる。
最強のモデルでさえ、3ラウンドの後にプロジェクトの52%しか完了していない。
- 参考スコア（独自算出の注目度）: 45.813104201414326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing code-generation benchmarks score a single mapping from a complete prompt to a one-shot output. However, real web development is different. Users seldom write a full spec at the start; many requirements only become clear once they look at an intermediate result and react to it. We present Asuka-Bench, a benchmark that pairs underspecified user intent with multi-round refinement, grounded in browser-rendered behavior. Each task is resolved through a closed loop: a Code Agent generates a web project, a UI Agent executes test cases on the deployed site, and a User LLM turns evaluation outcomes into natural-language feedback for the next round. The benchmark comprises 50 web tasks with 784 evaluation criteria and 2402 expected outcomes. We benchmark 8 LLMs across 2 agent frameworks. The results separate models clearly: weighted Task Pass Rate varies by 38 percentage points and models also differ substantially in their ability to repair from feedback. Asuka-Bench is also far from saturated: even the strongest model completes only 52% of projects after three rounds.
- Abstract（参考訳）: 既存のコード生成ベンチマークは、完全なプロンプトからワンショット出力への1つのマッピングをスコア付けする。
しかし、実際のWeb開発は違う。
ユーザは最初に完全な仕様を書くことはめったにない。中間結果を見てそれに対応すると、多くの要件が明確になるだけだ。
ブラウザのレンダリング動作に基づくマルチラウンド改良と,未特定ユーザ意図とを組み合わせたベンチマークであるAuka-Benchを提案する。
Code AgentはWebプロジェクトを生成し、UI Agentはデプロイされたサイトでテストケースを実行し、User LLMは評価結果を次のラウンドで自然言語のフィードバックに変換する。
ベンチマークは、Webタスク50、評価基準784、予測結果2402からなる。
2つのエージェントフレームワークにまたがる8つのLLMをベンチマークします。
重み付けされたタスクパスレートは38ポイント、モデルもフィードバックから修復する能力で大きく異なる。
最強のモデルでさえ、3ラウンドでプロジェクトの52%しか完成していない。
関連論文リスト
- EvoCode-Bench: Evaluating Coding Agents in Multi-Turn Iterative Interactions [9.297494684604763]
EvoCode-Benchは26のステートフルコーディングタスクと227のラウンドのベンチマークである。
各タスクはエージェントのワークスペースを5～15ラウンド保存し、観測可能な振る舞いを通じて要求を記述する。
MT@4は4段階のフェールストップマルチラウンドスコアであり、SRは参照完了前の状態からのシングルラウンドスコアである。
論文 参考訳（メタデータ） (2026-05-22T18:17:28Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。
概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。
エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
論文 参考訳（メタデータ） (2026-02-02T05:17:23Z) - WebGen-Bench: Evaluating LLMs on Generating Interactive and Functional Websites from Scratch [35.609235867316734]
マルチファイルWebサイトをスクラッチから作成するLLMベースのエージェントの能力を測定するために設計された新しいベンチマークであるWebGen-Benchを紹介する。
ヒトアノテータとGPT-4oの併用によるWebサイト生成の多様な指示が含まれている。
我々は、GPT-4oを使用して、命令に記述された各機能をターゲットにしたテストケースを生成し、手動でフィルタリング、調整、整理を行い、精度を保証し、647のテストケースを作成します。
論文 参考訳（メタデータ） (2025-05-06T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。