論文の概要: ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders
- arxiv url: http://arxiv.org/abs/2607.21217v1
- Date: Thu, 23 Jul 2026 11:31:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.393584
- Title: ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders
- Title（参考訳）: ICAE-Bench:インタラクティブなプロジェクトビルダーとしてのコーディングエージェントの評価
- Abstract要約: 本稿では,インタラクティブなプロジェクト構築環境下でのコーディングエージェント評価ベンチマークICAE-Benchを紹介する。
基本的な考え方はファジィな製品要件から始め、自動化されたUser Agentで動的パラダイムをシミュレートすることです。
ICAE-Benchは、機能的正当性、セマンティックおよびAPI類似性、構造的忠実性、設計品質、相互作用品質などの多次元診断と共に標準化されたブラックボックステストを使用する。
- 参考スコア（独自算出の注目度）: 26.859032352714276
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent emergence of vibe-coding workflows is changing what coding agents are expected to do. Instead of merely completing code under fully specified instructions, agents are increasingly expected to transform incomplete product intent into working software by combining various abilities including planning, requirement clarification, tool use, debugging, and repository-level construction. Yet existing benchmarks have not fully caught up with this shift, evaluating agents on static, fully specified tasks. In this paper, we introduce ICAE-Bench, a benchmark for evaluating coding agents under interactive project-building settings. The basic idea is to start from a fuzzy product requirement, simulating the dynamic paradigm with an automated User Agent. To make this setting both realistic and evaluable, ICAE-Bench introduces three key designs. First, to avoid the ambiguity of unconstrained fuzzy requirements, each task derives ambiguity from a precise real open-source repository with executable behavior. Second, to ensure high-quality and reproducible user simulation, ICAE-Bench grounds interaction through User Agent Data, allowing the User Agent to reveal hidden constraints without inventing new requirements or leaking implementation artifacts. Third, to evaluate open-ended repositories fairly, ICAE-Bench uses standardized black-box tests together with multi-dimensional diagnostics, including functional correctness, semantic and API similarity, structural fidelity, design quality, and interaction quality.
- Abstract（参考訳）: ビブコーディングワークフローが最近登場したことで、コーディングエージェントが何をするかが変わりつつある。
完全に指定された命令の下でコードを完成させる代わりに、エージェントは計画、要求の明確化、ツールの使用、デバッグ、リポジトリレベルの構成など、さまざまな機能を組み合わせることで、不完全な製品意図をワーキングソフトウェアに転換することを期待している。
しかし、既存のベンチマークでは、静的で完全に指定されたタスクでエージェントを評価するという、このシフトに完全に追いついていない。
本稿では,インタラクティブなプロジェクト構築環境下でのコーディングエージェント評価ベンチマークICAE-Benchを紹介する。
基本的な考え方はファジィな製品要件から始め、自動化されたUser Agentで動的パラダイムをシミュレートすることです。
この設定を現実的で評価可能なものにするため、ICAE-Benchは3つの重要な設計を導入した。
まず、制約のないファジィ要件の曖昧さを避けるために、各タスクは、実行可能な振る舞いを持つ正確な実際のオープンソースリポジトリからあいまいさを導き出す。
第二に、高品質で再現可能なユーザシミュレーションを保証するために、ICAE-BenchはUser Agent Dataを通じてインタラクションを基盤として、User Agentが新しい要件を発明したり、実装成果物をリークしたりすることなく、隠れた制約を明らかにすることができる。
第3に、オープンエンドリポジトリを公平に評価するために、ICAE-Benchは、機能的正当性、セマンティックおよびAPI類似性、構造的忠実性、設計品質、相互作用品質を含む、多次元診断と共に標準化されたブラックボックステストを使用する。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions [3.67653051806469]
SWE-Interactは、エージェントを現実的な開発者ワークフローに配置する。
それは曖昧で不完全な命令から始まり、徐々に要求を明らかにする。
目標とするフィードバックやリビジョン,新たな制約を,完全なタスク目標が引き渡されるまで提供します。
論文 参考訳（メタデータ） (2026-06-29T17:17:45Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - Beyond Isolated Tasks: A Framework for Evaluating Coding Agents on Sequential Software Evolution [5.10403054516716]
既存のデータセットは、分離された単一のプルリクエスト(PR)タスクのパフォーマンスをステートレスな方法で評価する。
本稿では,SWE-STEPSのデータセット生成を支援する自動コーディングタスク生成フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-03T13:44:40Z) - AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild [30.138230316314534]
本稿では,一方向の指示から双方向の意図のアライメントへ評価をシフトするために,指示明細の分類を取り入れた最初のベンチマークであるAmbiBenchを紹介する。
厳密なレビュープロトコルの下で,25のアプリケーションにまたがる240の生態学的に有効なタスクの厳密なデータセットを構築した。
また,MLLM-as-a-judgeマルチエージェントアーキテクチャを利用した自動フレームワークであるMUSEを開発した。
論文 参考訳（メタデータ） (2026-02-12T09:25:15Z) - FeatureBench: Benchmarking Agentic Coding for Complex Feature Development [42.26354337364403]
FeatureBenchは、エンドツーエンドのフィーチャ指向ソフトウェア開発におけるエージェントコーディングのパフォーマンスを評価するために設計されたベンチマークである。
実行ベースの評価プロトコルと、人間の最小限の労力でコードリポジトリからタスクを自動的に引き出す、スケーラブルなテスト駆動メソッドが組み込まれている。
実証的な評価により、クロード4.5オプスのような最先端のエージェントモデルがSWEベンチで74.4%の解決率を達成することが明らかになった。
論文 参考訳（メタデータ） (2026-02-11T16:06:32Z) - ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。
概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。
エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
論文 参考訳（メタデータ） (2026-02-02T05:17:23Z) - ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。
オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。
我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-01-16T08:23:52Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。