論文の概要: WatchPoint: Executable User Feedback for Real-World Agentic Web Development
- arxiv url: http://arxiv.org/abs/2609.26204v1
- Date: Mon, 10 Aug 2026 21:40:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.920533
- Title: WatchPoint: Executable User Feedback for Real-World Agentic Web Development
- Title（参考訳）: WatchPoint: 実世界のエージェントWeb開発のための実行可能なユーザフィードバック
- Abstract要約: WatchPointは、実際の開発者の振る舞いを模倣するシミュレーションユーザーシステムである。
我々は、50のマルチファイルWebプロジェクトのベンチマークであるWeb-Benchを運用しています。
WatchPointは57.6%のタスクを回復する。
- 参考スコア（独自算出の注目度）: 9.382772172078145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a professional web developer's code fails a test, they do not simply re-read the stack trace. They open the application in a browser, click buttons, inspect computed styles, and run diagnostic commands to understand what went wrong. Existing feedback mechanisms for coding agents rely on screenshots, LLM-as-a-judge scoring, or natural-language corrections, but few interact with the live application the way a developer would. We introduce WatchPoint, a simulated-user system that mimics real developer behavior by generating and executing diagnostic scripts against the running application, producing structured observations that guide the coding model's retry. Unlike prior approaches that target single-file edits or evaluate using non-executable metrics, we operate on Web-Bench, a benchmark of 50 multi-file web projects comprising 1,000 sequentially dependent tasks, verified by deterministic end-to-end tests. WatchPoint recovers 57.6% of the tasks it diagnoses, and a controlled user study confirms the simulation's realism: human testers achieve a comparable recovery rate (54.5%), providing evidence that automated diagnostic scripts can substitute for interactive human testing on sequential web development tasks. We further identify a pattern of capability gaps that governs when simulated-user feedback is helpful and when it should be withheld.
- Abstract（参考訳）: プロのWeb開発者のコードがテストに失敗した場合、単にスタックトレースを読み直さない。
ブラウザでアプリケーションをオープンし、ボタンをクリックし、計算されたスタイルを検査し、診断コマンドを実行して何が問題かを理解します。
既存のコーディングエージェントのフィードバックメカニズムは、スクリーンショット、LCM-as-a-judgeスコア、自然言語の修正に依存しているが、開発者がそうするように、ライブアプリケーションと対話することはほとんどない。
実行中のアプリケーションに対して診断スクリプトを生成し実行し、コーディングモデルのリトライをガイドする構造化された観察を生成することで、実際の開発者の振る舞いを模倣するシミュレーションユーザシステムであるWatchPointを紹介する。
単一ファイルの編集や非実行可能なメトリクスによる評価を対象とする従来のアプローチとは異なり、私たちは、決定論的エンドツーエンドテストによって検証された1000の逐次依存タスクからなる50のマルチファイルWebプロジェクトのベンチマークであるWeb-Benchを運用しています。
WatchPointは57.6%のタスクを回復し、コントロールされたユーザスタディではシミュレーションの現実性を確認している。ヒトテスターは同等のリカバリ率(54.5%)を達成し、自動診断スクリプトがシーケンシャルなWeb開発タスクにおけるインタラクティブなヒューマンテストに取って代わることができるという証拠を提供する。
さらに、シミュレートされたユーザフィードバックが有用であり、いつ保持されるべきかを規定する能力ギャップのパターンを特定します。
関連論文リスト
- RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。
インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。
レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
論文 参考訳（メタデータ） (2026-09-18T17:00:56Z) - WebCraftBench: Evaluating Web Application Generation from a Software Testing Perspective [30.852692231575602]
ソフトウェアテストの観点からWebアプリケーション生成を評価するインタラクティブなベンチマークであるWebCraftBenchを提案する。
WebCraftBenchは、生成された各アプリケーションを計測し、コードカバレッジを使用して、ユーザシミュレートされたインタラクションを通じて、その機能を探索するエージェントをガイドする。
その後、インタラクショントレースを状態遷移グラフに抽象化し、視覚美学、ユーザビリティ、要求整合性の3次元に沿ってアプリケーションを評価する。
論文 参考訳（メタデータ） (2026-09-14T11:14:39Z) - Framework and Benchmark for Code-Driven Agentic Testing in Web Development [25.642063881090337]
textbfCode-driven textbfAgentic textbfTesting (CAT)は、エージェントがブラウザを動かすためにPlaywrightコードを書き、フィードバックを収集し、バグを明らかにするためにWebアプリケーションを自律的に探索するパラダイムである。
CATJudgeはブラウザとコンピュータのツールをひとつの環境に統合するエージェントフレームワークで、CATTestは102のAI生成Webアプリケーションのベンチマークで、慎重に注釈付けされたバグが書かれています。
論文 参考訳（メタデータ） (2026-08-31T10:07:51Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - GUITestScape: Towards Open-set Evaluation on Exploratory GUI Testing [23.562168946315804]
実世界の61のAndroidアプリケーションと,インタラクションとディスプレイタイプにまたがる508のプリセット欠陥をカバーする対話型ベンチマークを提案する。
GUIJudgeはエージェントのテスト軌道を独立して診断可能な機能に分解するオープンセット評価器である。
論文 参考訳（メタデータ） (2026-05-28T07:47:27Z) - Do you dare to try Test-Driven Forensics? Increasing Trust in Desktop Forensics with ADARE [0.0]
本稿では,法医学的期待を実行可能な仕様として扱う実践的アプローチとして,テスト駆動型法医学を紹介する。
本手法は,仮想マシン上で制御された実験を実行するオープンソースフレームワークであるADAREで実装されている。
オートプシーの25バージョンレグレッション調査では、輸出されたレポートの出力に大きく、ほとんど文書化されていない変化が見られる。
論文 参考訳（メタデータ） (2026-05-27T13:38:06Z) - WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing [57.7131457251794]
エンドツーエンドの自動Webテストを評価するベンチマークであるWebTestBenchを紹介します。
テストプロセスを2つのカスケードサブタスク、チェックリストの生成と欠陥検出に分解し、WebTesterを提案する。
以上の結果から,現在のコンピュータ利用エージェント能力と産業レベルの展開要求との間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2026-03-26T09:27:29Z) - InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。
対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
論文 参考訳（メタデータ） (2025-10-21T06:26:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。