論文の概要: Software Engineering for and with GUI Agent
- arxiv url: http://arxiv.org/abs/2608.09278v1
- Date: Mon, 10 Aug 2026 08:33:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.161119
- Title: Software Engineering for and with GUI Agent
- Title（参考訳）: GUIエージェントのソフトウェアエンジニアリング
- Abstract要約: 我々は,2018年1月から2026年4月までの336のGUIエージェント論文をレビューする。
5つの研究課題は、研究の展望、アーキテクチャ、評価、ソフトウェアライフサイクルの懸念、そして将来の機会についてである。
調査によると、この分野は2024年以来急速に拡大しているが、モバイルとウェブの設定は依然として支配的である。
今後の研究は、信頼性の高い実行とライフサイクル中心のテストと再現可能な評価を結びつけるべきである。
- 参考スコア（独自算出の注目度）: 14.441986604528914
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: GUI agents have advanced rapidly, producing a growing body of frameworks, benchmarks, and applications. However, this growth has outpaced the maturity of the field. GUI agents remain technically brittle, incompletely engineered, and insufficiently validated for sustained real-world use. They are evolving into closed-loop software systems. Within these systems, model reasoning is coupled with interface perception, execution feedback, recovery, and human oversight. This evolution calls for a software engineering perspective that remains largely absent from existing research. We address this gap by reviewing 336 GUI-agent papers from January 2018 to April 2026. Five research questions examine the research landscape, architectures, evaluation, software lifecycle concerns, and future opportunities. Our findings show that the field has expanded sharply since 2024, while mobile and web settings remain dominant. Architectures increasingly adopt modular perceive-reason-act loops, but recovery, human escalation, safety enforcement, and auditability remain underdeveloped. This architectural imbalance extends to evaluation. Evaluations are becoming more interactive, but they remain centered on task success and are difficult to compare across protocols. More broadly, existing studies provide limited support for testing beyond benchmarks and for maintaining agents after release. Observability, privacy engineering, and systematic human oversight are also underdeveloped. Together, these findings show that capability improvements alone cannot ensure deployment readiness. Future research should connect dependable execution with lifecycle-centered testing and reproducible evaluation. It should also integrate permission and privacy controls with cost-aware, human-centered governance. This integration is necessary to build dependable, maintainable, secure, and deployable GUI-agent systems.
- Abstract（参考訳）: GUIエージェントは急速に進歩し、成長するフレームワーク、ベンチマーク、アプリケーションを生み出している。
しかし、この成長はこの分野の成熟度を上回った。
GUIエージェントは技術的に不安定であり、不完全な技術で、持続的な現実世界の使用に対して不十分に検証されている。
彼らはクローズドループソフトウェアシステムへと進化しています。
これらのシステムでは、モデル推論はインターフェイスの認識、実行フィードバック、リカバリ、人間の監視と結合される。
この進化は、既存の研究からほとんど欠落しているソフトウェア工学の観点を要求する。
我々は、2018年1月から2026年4月までの336のGUIエージェント論文をレビューすることで、このギャップに対処する。
5つの研究課題は、研究の展望、アーキテクチャ、評価、ソフトウェアライフサイクルの懸念、そして将来の機会についてである。
モバイルとWebの設定は依然として支配的でありながら,2024年以降,この分野は急速に拡大している。
アーキテクチャはモジュール式パーセプティブ・アクトループを採用する傾向にあるが、リカバリ、人間のエスカレーション、安全執行、監査性はまだ未開発である。
このアーキテクチャの不均衡は評価にまで及ぶ。
評価はよりインタラクティブなものになりつつあるが、それでもタスクの成功に重点を置いており、プロトコル間で比較することは困難である。
より広範に、既存の研究は、ベンチマークを超えるテストとリリース後のエージェントの維持を限定的にサポートしている。
可観測性、プライバシー工学、体系的な人間の監視も未開発である。
これらの結果から、機能の改善だけでは、デプロイメントの準備が整っていないことが分かる。
今後の研究は、信頼性の高い実行とライフサイクル中心のテストと再現可能な評価を結びつけるべきである。
また、パーミッションとプライバシコントロールとコスト意識、人間中心のガバナンスを統合する必要がある。
この統合は、信頼性、保守性、セキュア、デプロイ可能なGUIエージェントシステムを構築するために必要である。
関連論文リスト
- Loop Engineering: Building Blocks, Adoption, and Impact [9.402135587560347]
2026年6月、実践者はループエンジニアリングと呼ばれるさらなるレベルを記述し始めた。
この用語は、大胆な主張と声楽的な懐疑主義を伴って急速に広まったが、ソフトウェアプロジェクトへの導入は測定されていない。
本研究は, 先進的なグレー文学の探索的考察であり, 十分に設計されたループが含んでいるものについて概ね一致している。
論文 参考訳（メタデータ） (2026-08-22T09:52:23Z) - Self-Evolving Coding Agents [11.43197414613246]
自己進化型コーディングエージェントは、リポジトリを検査し、ツールを実行し、テストを実行し、障害をデバッグし、パッチを生成することができる。
まず、自己進化型プログラミングエージェントを定義し、それらを従来のコーディングエージェントや一般的な自己進化型エージェントと区別する。
実行可能なフィードバック、リポジトリレベルのコンテキスト、コーディングトラジェクトリは、ソフトウェアエンジニアリングをエージェントの自己進化のための自然なドメインとして、ユニークな役割を与えます。
論文 参考訳（メタデータ） (2026-08-04T09:43:46Z) - A literature review of recent advances in software design and architecture [0.0]
現代のソフトウェアアーキテクチャは、継続的アーキテクチャガバナンス、ステークホルダーのコミュニケーション、実行時の可観測性、レジリエンス、インテリジェントな意思決定サポートをサポートします。
レビューは、2024年から2025年の間に発行された研究を合成し、ソフトウェア設計とアーキテクチャにおける新たなトレンド、課題、そして将来の方向性について調査する。
論文 参考訳（メタデータ） (2026-07-28T14:19:01Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - CocoaBench: Evaluating Unified Digital Agents in the Wild [98.84044600506597]
ココアベンチ(CocoaBench)は、人間によって設計された長距離タスクから構築された統合デジタルエージェントのベンチマークである。
また、モデルバックボーン間の比較を制御できる軽量な共有足場であるCocoaAgentについても紹介する。
論文 参考訳（メタデータ） (2026-04-13T09:00:10Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - Agentic AI in Engineering and Manufacturing: Industry Perspectives on Utility, Adoption, Challenges, and Opportunities [3.312613459249274]
この研究は、AI、特にエージェントシステムがエンジニアリングと製造にどのように採用されているか、今日の価値、より広範なデプロイメントに必要なものについて調べる。
近い将来のAIは、構造化された、反復的で、データ集約的な作業を中心にクラスタを獲得し、高い価値のエージェントは、ツールをまたいだマルチステップ作業のオーケストレーションから得ます。
採用は、断片化やマシン不フレンドリなデータ、厳格なセキュリティと規制要件、限定的なAPIアクセス可能なレガシツールよりも、モデル能力によって制限される。
論文 参考訳（メタデータ） (2026-03-19T22:36:34Z) - NL2Repo-Bench: Towards Long-Horizon Repository Generation Evaluation of Coding Agents [79.29376673236142]
既存のベンチマークは、完全なソフトウェアシステムを構築するのに必要な長期的能力の厳格な評価に失敗する。
符号化エージェントの長期リポジトリ生成能力を評価するために設計されたベンチマークであるNL2Repo Benchを提案する。
論文 参考訳（メタデータ） (2025-12-14T15:12:13Z) - Pixi: Unified Software Development and Distribution for Robotics and AI [41.29131868930693]
ロボットアルゴリズムの最大70%は、独立したチームでは再生できない。
プロジェクトレベルのロックファイルの正確な依存状態をキャプチャする統合パッケージ管理フレームワークであるPixiを紹介します。
2023年から5300以上のプロジェクトで採用されているPixiは、セットアップ時間を数時間から数分に短縮し、世界中の研究者の技術的な障壁を低くする。
論文 参考訳（メタデータ） (2025-11-06T21:29:04Z) - UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。
本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。
実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-09-02T17:44:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。