論文の概要: JoyFrontBench: Evaluating Front-End Coding Agents through Goal-Oriented Acceptance Contracts
- arxiv url: http://arxiv.org/abs/2611.14952v1
- Date: Wed, 11 Nov 2026 02:58:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.991535
- Title: JoyFrontBench: Evaluating Front-End Coding Agents through Goal-Oriented Acceptance Contracts
- Title(参考訳): JoyFrontBench: 目標指向の受け入れ契約によるフロントエンドコーディングエージェントの評価
- Abstract要約: フロントエンドのコーディングエージェントは、ユーザ目標を達成するアプリケーションを生成することが期待されているが、高いタスクスコアは、障害と必須の共存を可能にする。
JoyFrontBenchは、ゴール指向の受け入れ契約を通じて、この区別を行うベンチマークです。
JoyFrontBenchには、100のフロントエンド開発問題、764のタスク、2,596のアトミックな基準が含まれており、ユーザ目標とコアタスクとエビデンス要件をリンクするアノテーションがレビューされている。
- 参考スコア(独自算出の注目度): 40.96482615768399
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Front-end coding agents are expected to produce applications that fulfill user goals, yet high task scores can coexist with failures in essential workflows. Evaluating these agents therefore requires an explicit distinction between partial implementation and application success. We introduce JoyFrontBench, a benchmark that makes this distinction through goal-oriented acceptance contracts. Each contract identifies core tasks and mandatory criteria before generation: a core task passes only when all mandatory criteria are satisfied and a shared completion threshold is met, while application success requires every core task to pass on the same operational artifact within a single run. Derived from practitioner requirements, JoyFrontBench comprises 100 front-end development problems, 764 tasks, and 2,596 atomic criteria, with reviewed annotations linking user goals to core tasks and evidence requirements. The evaluation framework combines evidence-grounded judgments with deterministic record auditing and fixed scoring rules, preserving graded task assessment alongside explicit core-task and application-level acceptance. We evaluate five coding models under two agent harnesses, OpenHands and OpenCode, on the 70-problem test set; the remaining 30 problems form a public set for validation and diagnostic analyses. Under OpenHands, the mean Average Task Score (ATS) across models is 87.69%, while the mean Application Success Rate (ASR) is 51.52%. Further analyses reveal changes in model rankings across harnesses and variation in application success across repeated runs. These findings highlight the limitations of aggregate task scores in characterizing application success and motivate explicit assessment of core-goal fulfillment alongside graded task performance.
- Abstract(参考訳): フロントエンドのコーディングエージェントは、ユーザ目標を達成するアプリケーションを生成することが期待されているが、高いタスクスコアは、本質的なワークフローの失敗と共存する可能性がある。
これらのエージェントを評価するには、部分的な実装とアプリケーションの成功を明確に区別する必要がある。
JoyFrontBenchは、ゴール指向の受け入れ契約を通じて、この区別を行うベンチマークです。
各コントラクトは、生成前のコアタスクと必須基準を識別する: コアタスクは、すべての必須基準が満たされ、共有完了しきい値が満たされた場合にのみ、コアタスクが通過する。
JoyFrontBenchは、実践的な要件から派生したもので、100のフロントエンド開発問題、764のタスク、2,596のアトミックな基準で構成されており、ユーザ目標とコアタスクとエビデンス要件をリンクするアノテーションがレビューされている。
評価フレームワークは、エビデンスに基づく判断と決定論的記録監査と固定スコアリングルールを組み合わせることで、明示的なコアタスクとアプリケーションレベルの受け入れとともに、段階的なタスクアセスメントを保存する。
2つのエージェントハーネス、OpenHandsとOpenCodeの5つのコーディングモデルを70プロブレムテストセットで評価し、残りの30の問題は検証と診断のための公開セットを形成している。
OpenHandsでは、平均平均タスクスコア(ATS)は87.69%、平均アプリケーション成功率(ASR)は51.52%である。
さらなる分析により、ハーネス全体にわたるモデルランキングの変化と、繰り返し実行されるアプリケーション成功のバリエーションが明らかになった。
これらの結果は,アプリケーションの成功を特徴づける上での集合的タスクスコアの限界を浮き彫りにし,段階的タスクパフォーマンスとともにコアゴール達成の明確な評価を動機づけるものである。
関連論文リスト
- Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models [68.83033665662025]
Co-Design Benchは、26,314の実際のユーザコーディングセッションにわたる37,463の重複クエリから算出された273のタスクのベンチマークである。
その2つのトラック、ME(Multimodal Editing)とRE(Repository Editing)は、任意の画像、オーディオ、ビデオ、文書入力を含むローカライズされた編集をカバーしている。
タスクは正規化されたリクエストをペアにし、2,331の隠れ専門家認可の受け入れ基準で事前編集可能なアプリケーションを実行する。
論文 参考訳(メタデータ) (2026-10-26T10:10:21Z) - When Coding Agents Outpace Review: Evaluating PRD-Driven Development in Mature Enterprise Repositories [30.45295743702306]
PACEは43のエンタープライズタスクのベンチマークであり、750のエキスパートによるCode Pointsがある。
要求の再構築、基準構築、証拠に基づく評価を組み合わせて、PRDの充足度を測定する。
論文 参考訳(メタデータ) (2026-10-19T13:39:42Z) - Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳(メタデータ) (2026-10-13T17:22:58Z) - FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests [37.112507244969116]
FDE-Benchは、エンド・ツー・エンドのデリバリタスクにおいてエージェントを評価するために、実際の顧客プロジェクトから構築された最初のベンチマークである。
以上の結果から, 信頼性の高いFDEレベルのエンドツーエンドデリバリは, 評価エージェントの到達範囲外であることが示唆された。
論文 参考訳(メタデータ) (2026-10-10T03:53:42Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳(メタデータ) (2026-10-07T17:37:19Z) - CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation [55.1660787557339]
CodeActionBenchは、エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークである。
共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。
9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。
最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
論文 参考訳(メタデータ) (2026-09-27T17:59:31Z) - GameASG-Bench: Benchmarking Autonomous Software Generation for Game Development [23.365772903562785]
本稿では,ゲーム開発における生成タスクの一部として,行動テスト容易性を組み込むベンチマークであるGameASG-Benchを紹介する。
本プロトコルは,12のジャンルと2Dおよび3Dのインタラクションにまたがる47のブラウザ実行ゲーム生成タスクとして実装されている。
実験は、エンドツーエンドエージェントのパフォーマンス、ツールアクセス、名目上のターン予算、推論の取り組み、選択の活用に関する4つの重要な疑問に答える。
論文 参考訳(メタデータ) (2026-09-18T04:06:55Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳(メタデータ) (2025-08-07T17:54:15Z) - Auto-Eval Judge: Towards a General Agentic Framework for Task Completion Evaluation [4.08768677009363]
本稿では,タスク領域に依存しないエージェントタスク完了を評価するための,汎用的でモジュール化されたフレームワークを提案する。
GAIAとBigCodeBenchの2つのベンチマークでMagentic-One Actor Agentを評価することで、我々のフレームワークを検証する。
我々の審査員は、人間の評価と密接に一致したタスクの成功を予測し、それぞれ4.76%と10.52%のアライメント精度を達成した。
論文 参考訳(メタデータ) (2025-08-07T15:39:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。