論文の概要: Step-Aligned Script Generation with Verification and Recovery for Web Automation Testing

• arxiv url: http://arxiv.org/abs/2610.25601v1
• Date: Mon, 19 Oct 2026 00:07:30 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:41:47.330917
• Title: Step-Aligned Script Generation with Verification and Recovery for Web Automation Testing
• Title（参考訳）: Webオートメーションテストのための検証とリカバリによるステップアラインスクリプト生成
• Abstract要約: 本稿では,自然言語テストインテントをPlaywrightスクリプトに変換する適応型テストスクリプト生成フレームワークであるTESSARAを紹介する。 各ステップを生成されたコードフラグメント、セレクタエビデンス、実行結果、修復履歴にリンクするステップレベルの前例。 3レベル検証パイプラインは、コード、インタラクション障害、不正なランディング状態を検出し、修復する。
• 参考スコア（独自算出の注目度）: 14.734454356396157
• License:
• Abstract: Automated generation of end-to-end web tests remains costly: developers must identify stable selectors, encode multi-step workflows, attach assertions, and maintain scripts as interfaces evolve. Recent LLM-based web agents can complete natural-language tasks in a live browser session, but task completion is not the same as producing a test-ware artifact - code that is executable, replay-able from a reset state, inspectable by developers, and tied to an oracle. We present TESSARA, an adaptive test-script generation framework that converts natural-language test intent into Playwright scripts consisting of executable interaction code, goal-state assertions, and step-level provenance linking each step to its generated code fragment, selector evidence, execution outcome, and repair history. TESSARA grounds each planned step via Step-Aligned Scripting (SAS), enabling fine-grained failure localization, selective regeneration of failing suffixes, and reversibility-aware backtracking that avoids undoing likely commit points (e.g., form submissions). A three-level verification pipeline (syntactic, execution, and semantic/oracle), detects and repairs malformed code, interaction failures, and incorrect landing states. We evaluate TESSARA on three public web benchmarks, measuring script executability, oracle satisfaction, replay stability, and repair efficiency, and show substantial improvements over baselines and underlying VLMs used directly as script generators.
• Abstract（参考訳）: 開発者は安定したセレクタを特定し、複数のステップワークフローをエンコードし、アサーションを添付し、インターフェースが進化するにつれてスクリプトを維持する必要がある。 最近のLLMベースのWebエージェントは、ライブブラウザセッションで自然言語タスクを完了できますが、タスク補完は、テストウェアアーティファクト(実行可能で、リセット状態から再生可能で、開発者によって検査可能で、オラクルに結び付けられているコード)の作成と同じではありません。 本稿では、自然言語テストインテントを実行可能な対話コード、目標状態アサーション、各ステップを生成されたコードフラグメント、セレクタエビデンス、実行結果、修復履歴にリンクするステップレベルの前処理からなるPlaywrightスクリプトに変換する適応型テストスクリプト生成フレームワークであるTESSARAを提案する。 TESSARAは,ステップアラインドスクリプト(SAS)を通じて,詳細な障害ローカライゼーション,サフィックスの選択的リジェネレーション,および潜在的コミットポイント(フォームサブミッションなど)を回避した可逆性対応のバックトラックなどを通じて,計画された各ステップをクリアする。 3レベル検証パイプライン(シンタクティック、実行、セマンティック/オーラル)は、不正なコード、インタラクション障害、不正なランディング状態を検出し、修復する。 我々は,スクリプト実行可能性,オラクル満足度,再生安定性,修復効率を3つの公開Webベンチマークで評価し,スクリプトジェネレータとして直接使用されるベースラインや基盤となるVLMよりも大幅に改善されていることを示す。

関連論文リスト

• From Software History to Executable Regression Tasks: A System for Evaluating Software Agents [31.285329044029925]
  本稿では,過去のコミットペアと開発者テストから実行可能な回帰インスタンスを構築するシステムを提案する。 このシステムは、固定側の変更から候補テストを抽出し、制約されたエージェントを使用して移植し、バージョン固有の環境を設定する。 我々は,3つのタスクに対して,手作業で選択した83のインスタンスに対して,10のモデルと追加の推論・実行設定を備えた3つのソフトウェアエージェントを評価した。
  論文  参考訳（メタデータ） (2026-10-18T14:40:58Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• Training Needs Trustworthy Worlds: Verified Synthetic Web Environments for Agent Learning [48.88985618650394]
  私たちのフレームワークは、生成されたWebサイトを、ページ、ナビゲーションリンク、データベースレコード、状態変化マーカー、タスク制約の構造化された足場として表現します。 インタラクションの間、通常のUIトランジションは決定論的に実行されるが、永続的なバックエンド更新は、検証された状態変更マーカーによってのみ呼び出される。 6つの領域にまたがる500を超える合成環境において,タスクブロックの欠陥を低減し,48.6%から94.8%に改善した。
  論文  参考訳（メタデータ） (2026-08-22T10:18:45Z)
• WatchPoint: Executable User Feedback for Real-World Agentic Web Development [9.382772172078145]
  WatchPointは、実際の開発者の振る舞いを模倣するシミュレーションユーザーシステムである。 我々は、50のマルチファイルWebプロジェクトのベンチマークであるWeb-Benchを運用しています。 WatchPointは57.6%のタスクを回復する。
  論文  参考訳（メタデータ） (2026-08-10T21:40:41Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing [57.7131457251794]
  エンドツーエンドの自動Webテストを評価するベンチマークであるWebTestBenchを紹介します。 テストプロセスを2つのカスケードサブタスク、チェックリストの生成と欠陥検出に分解し、WebTesterを提案する。 以上の結果から,現在のコンピュータ利用エージェント能力と産業レベルの展開要求との間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-03-26T09:27:29Z)
• TestWeaver: Execution-aware, Feedback-driven Regression Testing Generation with Large Language Models [5.871736617580623]
  回帰テストは、コードの変更が意図せずに既存の機能を壊さないようにする。 大規模言語モデル(LLM)の最近の進歩は、回帰テストのためのテスト生成を自動化することを約束している。 テスト生成をより効率的にガイドするために、軽量なプログラム分析を統合する新しいアプローチであるTestWeaverを提案する。
  論文  参考訳（メタデータ） (2025-08-02T08:13:02Z)
• Evaluating LLMs on Sequential API Call Through Automated Test Generation [10.621357661774244]
  StateGenは、シーケンシャルなAPIインタラクションを含む多様なコーディングタスクを生成するように設計された、自動化されたフレームワークである。 3つの代表的なシナリオにまたがる120の検証済みのテストケースを含むベンチマークであるStateEvalを構築します。 実験の結果、StateGenは挑戦的で現実的なAPI指向のタスクを効果的に生成できることを確認した。
  論文  参考訳（メタデータ） (2025-07-13T03:52:51Z)
• Fix the Tests: Augmenting LLMs to Repair Test Cases with Static Collector and Neural Reranker [9.428021853841296]
  本稿では, TROCtxsの精密かつ高精度な構築により, 旧来の検査ケースを自動的に修復する新しい手法であるSynTERを提案する。 構築されたTROCtxの増強により、幻覚は57.1%減少する。
  論文  参考訳（メタデータ） (2024-07-04T04:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。