論文の概要: WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements

• arxiv url: http://arxiv.org/abs/2602.11724v1
• Date: Thu, 12 Feb 2026 08:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.731094
• Title: WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements
• Title（参考訳）: WebTestPilot: シンボル化されたGUI要素でOracleを推論することで、自然言語仕様に対するエージェント的なエンドツーエンドWebテスト
• Authors: Xiwen Teoh, Yun Lin, Duc-Minh Nguyen, Ruofei Ren, Wenjie Zhang, Jin Song Dong,
• Abstract要約: WebTestPilotは、これらの課題に対処するために設計されたビジュアル言語モデル(VLM)ベースのエージェントである。 我々はNL-to-E2Eテストを評価するためのバグ注入Webアプリケーションのベンチマークを構築した。 WebTestPilotはタスク完了率99%、精度96%、バグ検出96%をリコールし、最高のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 19.881539879667873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual language model (VLM) agents show great promise in automating end-to-end (E2E) web testing against requirements in natural language. However, the probabilistic nature of language models can have inherent hallucinations. Therefore, given a detected inconsistency between the requirement and the web application, it is hard to distinguish whether it stems from the hallucination or a real application bug. Addressing this issue presents two core technical challenges: the implicit oracle inference challenge, where the agent must act as its own oracle to implicitly decide if the application's behavior is correct without guidance, and the probabilistic inference challenge, where an LLM's inconsistent reasoning undermines its trustworthiness as an oracle. Existing LLM-based approaches fail to capture such implicit oracles, either by treating any page navigation that doesn't crash as a success, or by checking each state in isolation, thus missing bugs dependent on context from prior steps. We introduce WebTestPilot, an LLM-based agent designed to address these challenges. WebTestPilot uses (1) a symbolization layer which detects and symbolizes critical GUI elements on the web application into symbols (i.e., variables) and (2) translates natural language specification into a sequence of steps, each of which is equipped with inferred pre- and post-conditions over the symbols as an oracle. This oracle captures data, temporal, and causal dependencies, enabling the validation of implicit requirements. To advance research in this area, we build a benchmark of bug-injected web apps for evaluating NL-to-E2E testing. The results show that WebTestPilot achieves a task completion rate of 99%, with 96% precision and 96% recall in bug detection, outperforming the best baseline (+70 precision, +27 recall). The agent generalizes across diverse natural language inputs and model scales.
• Abstract（参考訳）: ビジュアル言語モデル(VLM)エージェントは、自然言語の要件に対するエンドツーエンド(E2E)Webテストを自動化する上で、非常に有望である。 しかし、言語モデルの確率論的性質は、固有の幻覚を持つことができる。 したがって、要求とWebアプリケーション間の不整合が検出された場合、それが幻覚や実際のアプリケーションバグに由来するかどうかを区別することは困難である。 アプリケーション動作がガイダンスなしで正しいかどうかを暗黙的に決定するために、エージェントが独自の託宣として行動しなければならない暗黙の託宣推論チャレンジと、LCMの不整合推論が託宣としての信頼性を損なう確率的推論チャレンジである。 既存のLCMベースのアプローチでは、成功としてクラッシュしないページナビゲーションを扱うか、個別に各状態をチェックすることで、前ステップからのコンテキストに依存したバグを欠くか、このような暗黙のオークルをキャプチャできない。 我々はこれらの課題に対処するためにLLMベースのエージェントであるWebTestPilotを紹介した。 WebTestPilotは、(1)Webアプリケーションの重要なGUI要素をシンボル(変数)に変換してシンボル化するシンボル化レイヤを使用し、(2)自然言語の仕様を一連のステップに変換する。 このオラクルはデータ、時間的、因果的な依存関係をキャプチャし、暗黙的な要求の検証を可能にする。 この分野での研究を進めるために,NL-to-E2Eテストを評価するためのバグ注入Webアプリケーションのベンチマークを構築した。 その結果、WebTestPilotは99%のタスク完了率を獲得し、96%の精度と96%のバグ検出をリコールし、最高のベースライン(+70の精度、+27のリコール)を上回った。 エージェントは多様な自然言語入力とモデルスケールにまたがって一般化する。

関連論文リスト

• SmartOracle - An Agentic Approach to Mitigate Noise in Differential Oracles [5.742682177744732]
  差分ファジィは同一仕様の異なる実装間で同一の入力を実行することでバグを検出する。 SmartOracleは手動のトリアージワークフローを、専門のLarge Language Modelサブエージェントに分解する。 活発なファジィキャンペーンにおいて、SmartOracleは以前未知の仕様レベルの問題を特定し、報告した。
  論文  参考訳（メタデータ） (2026-01-21T15:20:53Z)
• You only need 4 extra tokens: Synergistic Test-time Adaptation for LLMs [50.54173262572369]
  大規模言語モデル (LLM) は、金融、医療、農業などの専門分野にますます導入されている。 本稿では,言語モデルに対するラベルフリーテスト時適応について検討し,追加の監督なしにモデルをオンザフライで適応する推論時フレームワークであるSyTTAについて述べる。
  論文  参考訳（メタデータ） (2025-10-11T14:00:39Z)
• FaultLine: Automated Proof-of-Vulnerability Generation Using LLM Agents [17.658431034176065]
  FaultLineはエージェントワークフローで、自動的にPoVテストケースを生成する。 言語固有の静的または動的分析コンポーネントは使用せず、プログラミング言語間で使用することができる。 Java、C、C++プロジェクトの既知の100の脆弱性のデータセット上で、FaultLineは16プロジェクトのPoVテストを生成することができる。
  論文  参考訳（メタデータ） (2025-07-21T04:55:34Z)
• TAI3: Testing Agent Integrity in Interpreting User Intent [17.520166327611594]
  LLMエージェントは、自然言語命令を通じてAPIを呼び出すことによって、現実世界のタスクを自動化するために、ますます多くデプロイされている。 従来のソフトウェアテストでは、構造化された入力を前提としており、自然言語のあいまいさを扱うには不足している。 LLMエージェントの意図的整合性違反を体系的に発見する,API中心のストレステストフレームワークであるTAI3を紹介する。
  論文  参考訳（メタデータ） (2025-06-09T08:09:08Z)
• Hallucination to Consensus: Multi-Agent LLMs for End-to-End Test Generation [2.794277194464204]
  ユニットテストは、ソフトウェアの正しさを保証する上で重要な役割を担います。 従来の手法は、高いコードカバレッジを達成するために、検索ベースまたはランダム化アルゴリズムに依存していた。 CANDORはJavaにおける自動単体テスト生成のための新しいプロンプトエンジニアリングベースのLLMフレームワークである。
  論文  参考訳（メタデータ） (2025-06-03T14:43:05Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Test Oracle Automation in the era of LLMs [52.69509240442899]
  大規模言語モデル(LLM)は、多様なソフトウェアテストタスクに取り組むのに顕著な能力を示した。 本研究の目的は, 各種のオラクル生成時に生じる課題とともに, LLMs によるオラクルの自動化の可能性について検討することである。
  論文  参考訳（メタデータ） (2024-05-21T13:19:10Z)
• LASER: LLM Agent with State-Space Exploration for Web Navigation [57.802977310392755]
  大規模言語モデル(LLM)は、Webナビゲーションのようなインタラクティブな意思決定タスクにうまく適応している。 以前のメソッドでは、モデルに対して前方のみの実行モードを暗黙的に仮定しており、そこでは、オンコンテキストの例として、オラクルのトラジェクトリのみを提供する。 本稿では,対話型タスクを状態空間探索としてモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-09-15T05:44:08Z)
• SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding [103.34092301324425]
  大規模言語モデル(LLM)は、オープンドメインのNLPタスクに顕著な能力を示している。 本稿では、オープンドメインの自然言語理解に特化して強化された、バイリンガル(英語と中国語)のオープンソース自己回帰モデルSeqGPTを提案する。
  論文  参考訳（メタデータ） (2023-08-21T07:31:19Z)
• Intergenerational Test Generation for Natural Language Processing Applications [16.63835131985415]
  各種NLPアプリケーションの誤動作を検出する自動テスト生成手法を提案する。 この手法をNLPLegoに実装し、シード文の可能性を完全に活用する。 NLPLegoは3つのタスクで約95.7%の精度で1,732, 5301, 261,879の誤った行動を検出することに成功した。
  論文  参考訳（メタデータ） (2023-02-21T07:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。