論文の概要: Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models

• arxiv url: http://arxiv.org/abs/2610.35138v1
• Date: Mon, 26 Oct 2026 10:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.821794
• Title: Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
• Title（参考訳）: Co-Design Bench:エージェントモデルのためのマルチモーダル協調符号化評価
• Abstract要約: Co-Design Benchは、26,314の実際のユーザコーディングセッションにわたる37,463の重複クエリから算出された273のタスクのベンチマークである。 その2つのトラック、ME(Multimodal Editing)とRE(Repository Editing)は、任意の画像、オーディオ、ビデオ、文書入力を含むローカライズされた編集をカバーしている。 タスクは正規化されたリクエストをペアにし、2,331の隠れ専門家認可の受け入れ基準で事前編集可能なアプリケーションを実行する。
• 参考スコア（独自算出の注目度）: 68.83033665662025
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Evaluating human-AI co-design requires testing whether coding agents can translate real users' multimodal requests into working application revisions. We introduce Co-Design Bench, a reference-free benchmark of 273 tasks curated from 37,463 deduplicated queries across 26,314 real user coding sessions. Its two tracks, Multimodal Editing (ME) and Repository Editing (RE), cover localized edits with optional image, audio, video, or document inputs and coordinated repository revisions. Tasks span three capability dimensions: Grounded Understanding, UI Transformation, and Functional Implementation. The tasks pair normalized requests and runnable pre-edit applications with 2,331 hidden expert-authored acceptance criteria. Our judge-then-refute protocol grades criteria using source and browser evidence, challenges positive verdicts with a separate LLM verifier, and audits visual and interaction claims without gold code or target screenshots. Under a shared agentic harness, the strongest of ten model endpoints passes an average of 69.9% of criteria per task but fully satisfies only 26.4% of tasks. All ten endpoints achieve lower criterion completion on repository edits spanning three or four change types than on those spanning one or two. Co-Design Bench provides a testbed for studying the gap between partial requirement satisfaction and complete task success under agentic execution for real-user application revisions.
• Abstract（参考訳）: 人間のAI共同設計を評価するには、コーディングエージェントが実際のユーザのマルチモーダルリクエストを動作中のアプリケーションリビジョンに翻訳できるかどうかをテストする必要がある。 コデザインベンチ(Co-Design Bench)は,26,314件の実際のユーザコーディングセッションで37,463件の重複クエリから算出された273件のタスクのリファレンスフリーベンチマークである。 その2つのトラック、ME(Multimodal Editing)とRE(Repository Editing)は、任意の画像、オーディオ、ビデオ、ドキュメント入力によるローカライズされた編集と調整されたリポジトリのリビジョンをカバーしている。 タスクは、グラウンドド理解、UIトランスフォーメーション、機能実装の3つの機能ディメンションにまたがる。 タスクは正規化されたリクエストと2,331の隠された専門家認可の受け入れ基準で実行可能な事前編集アプリケーションとをペアリングする。 我々は,ソースとブラウザのエビデンスを用いて評価基準を定式化し,別個のLCM検証器を用いて肯定的な検証を行い,ゴールドコードやターゲットスクリーンショットを使わずに視覚的およびインタラクションのクレームを検査する。 共通のエージェントハーネスの下では、最強の10個のモデルエンドポイントは、平均69.9%のタスク基準をパスするが、タスクの26.4%しか満足していない。 10のエンドポイントはすべて、3つか4つの変更タイプにまたがるリポジトリ編集において、1つまたは2つにまたがるものよりも低い基準の補完を実現する。 Co-Design Bench氏は、リアルタイムアプリケーション修正のためのエージェント実行時の部分的要求満足度と完全なタスク成功の間のギャップを研究するためのテストベッドを提供している。

関連論文リスト

• RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents [52.23794777349681]
  本稿では,現実的なCLIタスク上でのタスク実行と人間とエージェントのコラボレーション品質の評価を統一するベンチマークを提案する。 作業効率は協調品質から大きく変化し, ステアビリティ, 信頼キャリブレーション, 安全境界管理に苦しむモデルが存在する。
  論文  参考訳（メタデータ） (2026-10-15T18:03:13Z)
• Cowork-Gym: Synthesizing Interactive Work Environments at Scale [79.11567848319275]
  ワークエージェントは、ツールやファイル間の依存関係をナビゲートし、ユーザ要求の変更や共有ワークスペースへの編集に適応する。 Cowork-Gymは、ビルド・実行・修正ループを通じてCowork環境を合成するフレームワークです。 現実的なコワークダイナミクスをキャプチャするために、ステートフルユーザシミュレータは対話を通じてエージェントのアクションに応答し、共有ワークスペースに直接編集する。
  論文  参考訳（メタデータ） (2026-10-13T03:56:58Z)
• EvoCowork: A Benchmark for Real-World Office Tasks [15.379142918215033]
  EvoCoworkは、4つのオフィスモードで自己改善を評価する240タスクのベンチマークである。 そのプロトコルはフィードバック、リビジョンの選択、最終テストを分離する。 最高設定は総合42.25点、クロスオフィスでは30.62点である。
  論文  参考訳（メタデータ） (2026-10-10T11:43:07Z)
• Coding-Agent Benchmarks Should Match Their Users' Task Flows [0.7364513793981815]
  SWE-TaskFlowは、問題由来のベンチマークタスクを変換するためのアプローチである。 ターゲットのタスクフローに向けてインタラクションを操りながら、検証済みのタスクとテストを保存する。 700のSWE-Bench Proタスクのパイロットでは、いくつかのステップでタスクを逐次解決することでエージェントコストが約2倍になった。
  論文  参考訳（メタデータ） (2026-10-07T08:08:39Z)
• CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation [55.1660787557339]
  CodeActionBenchは、エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークである。 共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。 9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。 最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
  論文  参考訳（メタデータ） (2026-09-27T17:59:31Z)
• ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders [26.859032352714276]
  本稿では,インタラクティブなプロジェクト構築環境下でのコーディングエージェント評価ベンチマークICAE-Benchを紹介する。 基本的な考え方はファジィな製品要件から始め、自動化されたUser Agentで動的パラダイムをシミュレートすることです。 ICAE-Benchは、機能的正当性、セマンティックおよびAPI類似性、構造的忠実性、設計品質、相互作用品質などの多次元診断と共に標準化されたブラックボックステストを使用する。
  論文  参考訳（メタデータ） (2026-07-23T11:31:38Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
  テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-05T12:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。