論文の概要: Guiding ChatGPT to Fix Web UI Tests via Explanation-Consistency Checking
- arxiv url: http://arxiv.org/abs/2312.05778v2
- Date: Sat, 27 Jan 2024 00:20:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 20:56:13.441253
- Title: Guiding ChatGPT to Fix Web UI Tests via Explanation-Consistency Checking
- Title（参考訳）: 説明一貫性チェックによるChatGPTによるWeb UIテストの修正
- Authors: Zhuolin Xu, Qiushi Li and Shin Hwei Tan
- Abstract要約: Web UIテストの既存のテクニックは、古いものと一致する新しいWebページのターゲット要素を見つけることに重点を置いており、対応する壊れたステートメントを修復することができる。
本稿では,初期局所マッチングに Web UI の事前修復技術を用いて,ChatGPT を用いてグローバルマッチングを行う可能性について検討する。
本稿では,ChatGPTで強化した手法により,既存のWebテスト修復手法の有効性が向上したことを示す。
- 参考スコア（独自算出の注目度）: 5.991964606007937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid evolution of Web UI incurs time and effort in maintaining UI tests.
Existing techniques in Web UI test repair focus on finding the target elements
on the new web page that match the old ones so that the corresponding broken
statements can be repaired. We present the first study that investigates the
feasibility of using prior Web UI repair techniques for initial local matching
and then using ChatGPT to perform global matching. Our key insight is that
given a list of elements matched by prior techniques, ChatGPT can leverage the
language understanding to perform global view matching and use its code
generation model for fixing the broken statements. To mitigate hallucination in
ChatGPT, we design an explanation validator that checks whether the provided
explanation for the matching results is consistent, and provides hints to
ChatGPT via a self-correction prompt to further improve its results. Our
evaluation on a widely used dataset shows that the ChatGPT-enhanced techniques
improve the effectiveness of existing Web test repair techniques. Our study
also shares several important insights in improving future Web UI test repair
techniques.
- Abstract（参考訳）: Web UIの急速な進化は、UIテストの維持に時間と労力を要する。
Web UIテストの既存のテクニックは、古いものと一致する新しいWebページのターゲット要素を見つけることに重点を置いており、対応する壊れたステートメントを修復することができる。
本稿では,初期局所マッチングに先行する web ui の修正手法を活用し,グローバルマッチングを行うために chatgpt を用いた最初の研究を行う。
キーとなる洞察は、以前のテクニックにマッチする要素のリストが与えられたら、ChatGPTは言語理解を利用してグローバルなビューマッチングを実行し、そのコード生成モデルを使って壊れたステートメントを修正できるということです。
本稿では,ChatGPTにおける幻覚を緩和するため,提案した結果が一致しているかどうかを判定する説明検証器を設計し,自己補正プロンプトを通じてChatGPTにヒントを提供し,その結果をさらに改善する。
本稿では,ChatGPTで強化した手法により,既存のWebテスト修復手法の有効性が向上したことを示す。
また、将来のweb uiテストの修復技術を改善する上で、いくつかの重要な知見を共有しています。
関連論文リスト
- Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Chatbots Are Not Reliable Text Annotators [0.0]
ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。
オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
論文 参考訳（メタデータ） (2023-11-09T22:28:14Z) - Automated Repair of Declarative Software Specifications in the Era of
Large Language Models [12.995301758524935]
我々は,アロイ宣言言語で記述されたソフトウェア仕様の修復にOpenAIのChatGPTを利用することの有効性を評価する。
我々の研究では、ChatGPTは既存の技術と比べて不足しているものの、他の手法では対応できないバグの修正に成功していることがわかった。
論文 参考訳（メタデータ） (2023-10-19T02:30:42Z) - Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。
この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文 参考訳（メタデータ） (2023-07-10T08:20:34Z) - InternGPT: Solving Vision-Centric Tasks by Interacting with ChatGPT
Beyond Language [82.92236977726655]
InternGPTは textbfinteraction, textbfnonverbal, textbfchatbot の略である。
InternGPT(iGPT)という対話型視覚フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-09T17:58:34Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - Evaluating ChatGPT's Information Extraction Capabilities: An Assessment
of Performance, Explainability, Calibration, and Faithfulness [18.945934162722466]
7つのきめ細かい情報抽出(IE)タスクを用いてChatGPTの全体的な能力を評価することに集中する。
標準IE設定でのChatGPTのパフォーマンスは劣っているが、OpenIE設定では驚くほど優れたパフォーマンスを示している。
ChatGPTは、その決定に対して高品質で信頼できる説明を提供する。
論文 参考訳（メタデータ） (2023-04-23T12:33:18Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Towards Making the Most of ChatGPT for Machine Translation [75.576405098545]
ChatGPTは機械翻訳(MT)の優れた機能を示す
いくつかの先行研究により、ハイソース言語の商用システムと同等の結果が得られることが示されている。
論文 参考訳（メタデータ） (2023-03-24T03:35:21Z) - Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation
Models [55.11367495777145]
ChatGPTは、多くのドメインにまたがる優れた会話能力と推論機能を備えた言語インターフェースを提供するため、分野横断の関心を集めている。
しかし、ChatGPTは言語で訓練されているため、視覚世界からの画像の処理や生成はできない。
Visual ChatGPTは、さまざまなVisual Foundation Modelsの助けを借りて、ChatGPTの視覚的役割を調べるための扉を開く。
論文 参考訳（メタデータ） (2023-03-08T15:50:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。