論文の概要: CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering
- arxiv url: http://arxiv.org/abs/2609.32600v1
- Date: Sat, 26 Sep 2026 13:18:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 05:23:05.378123
- Title: CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering
- Title（参考訳）: CUA-SWE: コンピュータ・ユース・エージェントがビジュアル・ソフトウェア・エンジニアリングに出会ったとき
- Abstract要約: 本稿では,コンピュータを用いたソフトウェアエンジニアリングのためのベンチマーク,環境,評価パイプラインCUA-SWEを紹介する。
必要な仕様や運用情報が実行中のアプリケーションのビジュアルインターフェースを通じてのみ利用可能である場合、エージェントがソフトウェアエンジニアリングタスクを完了できるかを問う。
CUA-SWEは4つのソフトウェアエンジニアリングドメインにまたがっており、エージェントはコードや構成を変更し、コマンドを実行し、ソフトウェアを実行し、同じタスク内で視覚的なフィードバックを検査する必要がある。
- 参考スコア（独自算出の注目度）: 8.524242244906295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software development requires more than editing code: developers repeatedly run software, interact with its interfaces, visually inspect its behavior, and use these observations to decide what to change next and whether a change works. Existing coding agents and computer-use agents are largely studied in isolation, leaving this integrated development process underexplored. Diagnosing a runtime interaction failure requires agents to connect visual observations with the responsible code, then use the application again to verify the repair. We introduce CUA-SWE, a benchmark, environment, and evaluation pipeline for software engineering with computer use. Beyond studying how GUI feedback supports diagnosis and repair, we ask whether agents can complete software engineering tasks when required specification or operational information is available only through the running application's visual interface. CUA-SWE spans four software engineering domains and requires agents to modify code and configuration, execute commands, interact with running software, and inspect visual feedback within the same task. Each task includes deterministic, task-specific tests that verify whether the resulting software satisfies the requirements and preserves specified behavior. Our evaluation characterizes how frontier agents combine source-level execution with application screenshots and graphical interaction to produce verified software changes. We examine performance across domains and task information requirements, alongside the development behaviors associated with successful repairs. CUA-SWE provides a unified testbed for studying how agents use visual feedback and interaction to guide software engineering, with executable correctness criteria for the resulting software.
- Abstract（参考訳）: 開発者は繰り返しソフトウェアを実行し、そのインターフェースと対話し、その振る舞いを視覚的に検査し、これらの観察結果を使用して、次に何を変更するべきか、変更が機能するのかを判断する。
既存のコーディングエージェントとコンピュータ利用エージェントは独立して研究されており、この統合開発プロセスは未調査のままである。
実行時のインタラクション障害の診断には、エージェントが視覚的な観察を責任のあるコードに接続し、修復を検証するために再びアプリケーションを使用する必要がある。
本稿では,コンピュータを用いたソフトウェアエンジニアリングのためのベンチマーク,環境,評価パイプラインCUA-SWEを紹介する。
GUIフィードバックが診断と修復をサポートする方法を研究するだけでなく、必要な仕様や運用情報が実行中のアプリケーションのビジュアルインターフェースを通してのみ利用可能である場合、エージェントがソフトウェアエンジニアリングタスクを完了できるかを尋ねる。
CUA-SWEは4つのソフトウェアエンジニアリングドメインにまたがっており、エージェントはコードや構成を変更し、コマンドを実行し、ソフトウェアを実行し、同じタスク内で視覚的なフィードバックを検査する必要がある。
各タスクには決定論的でタスク固有のテストが含まれており、結果のソフトウェアが要求を満たすかどうかを確認し、特定の振る舞いを保存する。
評価では,フロンティアエージェントがソースレベルの実行とアプリケーションスクリーンショットとグラフィカルなインタラクションを組み合わせて,検証済みのソフトウェア変更を生成する方法が特徴的である。
本研究は, 修復にともなう開発行動と並行して, ドメイン間の性能と課題情報要件について検討する。
CUA-SWEは、エージェントが視覚フィードバックとインタラクションを使ってソフトウェアエンジニアリングをガイドする方法を研究するための統合テストベッドを提供する。
関連論文リスト
- Terminal Agents: A Survey of AI Agents in Command-Line Environments [102.48222742145474]
大規模言語モデルエージェントは、ターミナルを通してますます行動するが、既存の調査は、ソフトウェア工学、ツールの使用、コンピュータ利用の研究にまたがって端末による振る舞いを分散させている。
我々は,端末エージェントを,端末コマンドの実行,テキストフィードバック,ステートフルな環境相互作用を介し,進行を伴う動作を主とするシステムとみなす。
我々の合成は、実現された行動はモデル、インターフェース、ハーネス、ランタイム、環境によって共同で形成されていることを示している。
論文 参考訳（メタデータ） (2026-08-20T18:16:44Z) - Beyond NL2Code: A Structured Survey of Multimodal Code Intelligence [31.954261925882452]
このサーベイは、視覚的に接地された入力と出力の下でコードを生成し、編集し、洗練し、理屈を定めているシステムを調べます。
まず、コードが各タスクで果たす役割によってフィールドを定式化します。
次に、ベンチマークとメソッドをグラフィカルユーザインタフェース、システミックビジュアライゼーション、構造化グラフィックス、フロンティアタスクとフレームワークの4つのドメインにまとめます。
論文 参考訳（メタデータ） (2026-06-14T17:21:43Z) - Computer-Using World Model [58.59112582915026]
我々は,次のユーザインタフェース(UI)状態を予測するデスクトップソフトウェアのための世界モデルであるComputer-Using World Model (CUWM)を紹介する。
CUWMはまずエージェント関連状態変化のテキスト記述を予測し、次に次のスクリーンショットを合成するために視覚的にこれらの変化を実現する。
テスト時間動作探索を用いてCUWMを評価し、凍結エージェントが世界モデルを用いて実行前の候補動作をシミュレートし比較する。
論文 参考訳（メタデータ） (2026-02-19T13:48:29Z) - Computer-Use Agents as Judges for Generative User Interface [142.75272102498806]
ComputerUse Agents (CUA) は、グラフィカルユーザインタフェース (GUI) を通じてデジタル環境を自律的に操作する能力が高まっている。
ほとんどのGUIは、人間が効率的にタスクを実行するのに不要な人間指向の動作を採用するために設計されている。
CUA は Coder でGUI の自動設計を支援することができるだろうか?
論文 参考訳（メタデータ） (2025-11-19T16:00:02Z) - UI-Vision: A Desktop-centric GUI Benchmark for Visual Perception and Interaction [16.731754927372585]
UI-Visionは、コンピュータ使用エージェントのオフラインかつきめ細かい評価のための、最初の包括的なライセンス許容ベンチマークである。
オンラインベンチマークとは異なり、UI-Visionは人間のデモの密集した高品質なアノテーションを提供する。
評価の結果,UI-TARS-72Bのような最先端モデルの限界が明らかになった。
論文 参考訳（メタデータ） (2025-03-19T19:26:17Z) - Programming with Pixels: Can Computer-Use Agents do Software Engineering? [24.011063667060792]
$textttProgramming with Pixels$ (PwP)は、ソフトウェアエンジニアリングのための初めての総合的なコンピュータ利用環境である。
PwPは、一般のコンピュータ利用エージェントがスペシャリストレベルのパフォーマンスに達するかどうかをベンチマークするための自然なドメインとしてソフトウェア工学を確立している。
論文 参考訳（メタデータ） (2025-02-24T18:41:33Z) - SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。
SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。
我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
論文 参考訳（メタデータ） (2024-05-06T17:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。