論文の概要: Improving web element localization by using a large language model
- arxiv url: http://arxiv.org/abs/2310.02046v1
- Date: Tue, 3 Oct 2023 13:39:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 05:06:16.947458
- Title: Improving web element localization by using a large language model
- Title（参考訳）: 大規模言語モデルによるWeb要素のローカライゼーションの改善
- Authors: Michel Nass, Emil Alegroth, Robert Feldt
- Abstract要約: 大きな言語モデル(LLM)は、あるタスクにおいて人間のような推論能力を示す。
本稿では、拡張Web要素ローカライゼーションアプローチであるVON Similo LLMを紹介し、評価する。
- 参考スコア（独自算出の注目度）: 6.126394204968227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Web-based test automation heavily relies on accurately finding web elements.
Traditional methods compare attributes but don't grasp the context and meaning
of elements and words. The emergence of Large Language Models (LLMs) like
GPT-4, which can show human-like reasoning abilities on some tasks, offers new
opportunities for software engineering and web element localization. This paper
introduces and evaluates VON Similo LLM, an enhanced web element localization
approach. Using an LLM, it selects the most likely web element from the
top-ranked ones identified by the existing VON Similo method, ideally aiming to
get closer to human-like selection accuracy. An experimental study was
conducted using 804 web element pairs from 48 real-world web applications. We
measured the number of correctly identified elements as well as the execution
times, comparing the effectiveness and efficiency of VON Similo LLM against the
baseline algorithm. In addition, motivations from the LLM were recorded and
analyzed for all instances where the original approach failed to find the right
web element. VON Similo LLM demonstrated improved performance, reducing failed
localizations from 70 to 39 (out of 804), a 44 percent reduction. Despite its
slower execution time and additional costs of using the GPT-4 model, the LLMs
human-like reasoning showed promise in enhancing web element localization. LLM
technology can enhance web element identification in GUI test automation,
reducing false positives and potentially lowering maintenance costs. However,
further research is necessary to fully understand LLMs capabilities,
limitations, and practical use in GUI testing.
- Abstract（参考訳）: Webベースのテスト自動化は、Web要素の正確な発見に大きく依存しています。
従来の手法では属性を比較するが、要素や単語の文脈や意味を把握できない。
gpt-4のような大規模言語モデル(llm)の出現は、いくつかのタスクで人間のような推論能力を示すことができ、ソフトウェア工学とweb要素のローカライズに新たな機会を提供する。
本稿では,拡張web要素ローカライゼーションアプローチである von similo llm を紹介し,評価する。
LLMを用いて、既存のVONシミロ法で識別された上位の要素から最も可能性の高いWeb要素を選択し、理想的には人間に似た選択精度に近づくことを目指している。
実世界の48のWebアプリケーションから804のWeb要素ペアを用いて実験を行った。
我々は,VON Similo LLMの有効性と効率をベースラインアルゴリズムと比較し,同定された要素数と実行時間を測定した。
さらに、LLMからのモチベーションが記録され、元のアプローチが適切なWeb要素を見つけられなかったすべての事例について分析された。
von similo llm は性能の向上を示し、ローカライゼーションの失敗を 70 から 39 (804 から 44% に削減した。
実行時間が遅く、GPT-4モデルを使用するための追加費用がかかるにもかかわらず、LLMはウェブ要素のローカライゼーションを強化することを約束している。
LLM技術はGUIテスト自動化におけるWeb要素識別を強化し、偽陽性を減らし、メンテナンスコストを削減できる。
しかし、GUIテストにおけるLLMの機能、制限、実用性を十分に理解するためには、さらなる研究が必要である。
関連論文リスト
- AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents [52.13695464678006]
本研究は, 観察空間と行動空間を簡略化することで, LLMベースのWebエージェントを強化する。
AgentOccam は以前の最先端および同時処理を 9.8 (+29.4%) と 5.9 (+15.8%) で上回っている。
論文 参考訳（メタデータ） (2024-10-17T17:50:38Z) - Enhancing Fault Localization Through Ordered Code Analysis with LLM Agents and Self-Reflection [8.22737389683156]
大規模言語モデル(LLM)は、コード理解と推論を強化することによって、フォールトローカライゼーションの有望な改善を提供する。
LLM4FL は,SBFL ランキングと配当戦略を統合した新しい LLM4FL の故障局所化手法である。
以上の結果から,LLM4FLはTop-1の精度でAutoFLを19.27%上回り,DeepFLやGraceといった最先端の監視技術を上回っていることがわかった。
論文 参考訳（メタデータ） (2024-09-20T16:47:34Z) - Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。
我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
論文 参考訳（メタデータ） (2024-06-02T23:13:56Z) - Leveraging Large Language Models for Automated Web-Form-Test Generation: An Empirical Study [7.857895177494495]
大規模言語モデル(LLM)は文脈テキスト生成に大きな可能性を秘めている。
OpenAIのGPT LLMは、ソフトウェアテストで多くの注目を集めています。
本研究では、30のオープンソースJava Webアプリケーションから146のWebフォームに対する11のLLMの有効性について検討する。
論文 参考訳（メタデータ） (2024-05-16T10:21:03Z) - ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。
ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。
LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
論文 参考訳（メタデータ） (2024-03-30T10:11:26Z) - "What's important here?": Opportunities and Challenges of Using LLMs in
Retrieving Information from Web Interfaces [19.656406003275713]
本研究では,大規模言語モデル (LLM) を用いて,Web インターフェースにおいてユーザが与えられたクエリに対して重要な要素を検索し,発見する方法について検討する。
私たちの経験的な実験によると、LLMは重要なUI要素を取得する上で適切なレベルのパフォーマンスを示しますが、改善の余地は依然としてあります。
論文 参考訳（メタデータ） (2023-12-11T06:26:38Z) - Language Agent Tree Search Unifies Reasoning Acting and Planning in Language Models [31.509994889286183]
我々はLanguage Agent Tree Search (LATS)を紹介した。Language Agent Tree Search (LATS)は、推論、行動、計画において言語モデル(LM)の能力を相乗化する最初の一般的なフレームワークである。
当社のアプローチの重要な特徴は、より意図的で適応的な問題解決メカニズムを提供する外部フィードバック環境の導入である。
LATSは、GPT-4でHumanEval上でプログラミングするための最先端パス@1精度(92.7%)を達成し、GPTによるWebShop上のWebナビゲーションの勾配ベースの微調整に匹敵する勾配なし性能(平均スコア75.9)を示す。
論文 参考訳（メタデータ） (2023-10-06T17:55:11Z) - WebGLM: Towards An Efficient Web-Enhanced Question Answering System with
Human Preferences [32.70333236055738]
WebGLMは、一般言語モデル(GLM)に基づくWebによる質問応答システムである
LLM強化レトリバー、ブートストラップ付きジェネレータ、人間の嗜好認識スコアラーの戦略を用いてWebGLMを開発する。
論文 参考訳（メタデータ） (2023-06-13T16:57:53Z) - The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
大規模言語モデル(LLM)は、大量の世界の知識を符号化する。
我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。
ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
論文 参考訳（メタデータ） (2023-05-18T14:20:32Z) - Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる
この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文 参考訳（メタデータ） (2023-04-12T17:33:28Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。