論文の概要: AXNav: Replaying Accessibility Tests from Natural Language
- arxiv url: http://arxiv.org/abs/2310.02424v3
- Date: Tue, 5 Mar 2024 01:28:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 02:18:45.520061
- Title: AXNav: Replaying Accessibility Tests from Natural Language
- Title（参考訳）: AXNav: 自然言語からアクセシビリティテストの再生
- Authors: Maryam Taeb, Amanda Swearngin, Eldon Schoop, Ruijia Cheng, Yue Jiang,
Jeffrey Nichols
- Abstract要約: 大規模言語モデル(LLM)は、UIの自動化を含む様々なタスクに使用されている。
本稿では,自然言語ベースのアクセシビリティテストワークフローの要件について検討する。
手動アクセシビリティテスト(例えばVoiceOver''のショー検索)を入力として、LLMとピクセルベースのUI理解モデルを組み合わせてテストを実行するシステムを構築します。
- 参考スコア（独自算出の注目度）: 14.131076040673351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developers and quality assurance testers often rely on manual testing to test
accessibility features throughout the product lifecycle. Unfortunately, manual
testing can be tedious, often has an overwhelming scope, and can be difficult
to schedule amongst other development milestones. Recently, Large Language
Models (LLMs) have been used for a variety of tasks including automation of
UIs, however to our knowledge no one has yet explored their use in controlling
assistive technologies for the purposes of supporting accessibility testing. In
this paper, we explore the requirements of a natural language based
accessibility testing workflow, starting with a formative study. From this we
build a system that takes as input a manual accessibility test (e.g., ``Search
for a show in VoiceOver'') and uses an LLM combined with pixel-based UI
Understanding models to execute the test and produce a chaptered, navigable
video. In each video, to help QA testers we apply heuristics to detect and flag
accessibility issues (e.g., Text size not increasing with Large Text enabled,
VoiceOver navigation loops). We evaluate this system through a 10 participant
user study with accessibility QA professionals who indicated that the tool
would be very useful in their current work and performed tests similarly to how
they would manually test the features. The study also reveals insights for
future work on using LLMs for accessibility testing.
- Abstract（参考訳）: 開発者と品質保証テスターは、しばしば製品ライフサイクル全体を通してアクセシビリティ機能をテストするために手動テストに依存している。
残念ながら、手動テストは面倒で、多くの場合、圧倒的なスコープを持ち、他の開発マイルストーンのスケジュールが難しい。
近年、大規模言語モデル(llm)はuiの自動化など様々なタスクに使われているが、アクセシビリティテストをサポートする目的で、アシスト技術を制御するための使用について誰も検討していない。
本稿では,自然言語を用いたアクセシビリティテストワークフローの要件について検討する。
このことから、手動アクセシビリティテスト(例: ``Search for a show in VoiceOver'')を入力として、LLMとピクセルベースのUI理解モデルを組み合わせてテストを実行し、章入りのナビゲート可能なビデオを生成するシステムを構築する。
各ビデオでは、QAテスタを支援するために、アクセシビリティの問題の検出とフラグ付けにヒューリスティックを適用します(例えば、Large Textを有効にしてテキストサイズが増加しない、VoiceOverナビゲーションループなど)。
本システムを,アクセシビリティQA専門家による10名の参加者を対象に評価し,そのツールが現在の作業で非常に有用であることを示すとともに,手動で機能をテストする方法と同様のテストを行うことを示した。
この研究はまた、アクセシビリティテストにLLMを使うことに関する今後の研究の洞察を明らかにしている。
関連論文リスト
- Multi-language Unit Test Generation using LLMs [6.259245181881262]
静的解析を組み込んだジェネリックパイプラインを記述し,コンパイル可能な高カバレッジテストケースの生成においてLCMをガイドする。
パイプラインをさまざまなプログラミング言語、特にJavaとPython、そして環境モックを必要とする複雑なソフトウェアに適用する方法を示します。
以上の結果から,静的解析によって導かれるLCMベースのテスト生成は,最新のテスト生成技術と競合し,さらに性能も向上することが示された。
論文 参考訳（メタデータ） (2024-09-04T21:46:18Z) - Learning to Ask: When LLMs Meet Unclear Instruction [49.256630152684764]
大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。
我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。
Ask-when-Needed (AwN) という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-31T23:06:12Z) - Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training [55.321010757641524]
大きな言語モデル(LLM)のトレーニングに関する主要な公的な懸念は、著作権のあるオンラインテキストを悪用するかどうかである。
事前の会員推定法は、大量のトレーニングデータに類似した例によって誤解されることがある。
本稿では,Webユーザとコンテンツプラットフォームがtextbftextitunique 識別子を使用することを推奨する代替のtextitinsert-and-detection 手法を提案する。
論文 参考訳（メタデータ） (2024-03-23T06:36:32Z) - Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
大規模言語モデル(LLM)は、テキスト理解と生成において顕著な能力を示した。
各種IEサブタスクと技術の観点から,これらの作品を分類して概観する。
我々は,最も先進的な手法を実証的に分析し,LLMによるIEタスクの出現傾向を明らかにする。
論文 参考訳（メタデータ） (2023-12-29T14:25:22Z) - Are We Testing or Being Tested? Exploring the Practical Applications of
Large Language Models in Software Testing [0.0]
LLM(Large Language Model)は、コヒーレントなコンテンツを生成する最先端の人工知能モデルである。
LLMは、ソフトウェアテストを含むソフトウェア開発において重要な役割を担います。
本研究では,産業環境でのソフトウェアテストにおけるLCMの実用化について検討する。
論文 参考訳（メタデータ） (2023-12-08T06:30:37Z) - Make LLM a Testing Expert: Bringing Human-like Interaction to Mobile GUI
Testing via Functionality-aware Decisions [23.460051600514806]
GPTDroidは、モバイルアプリ向けのQ&AベースのGUIテスティングフレームワークである。
機能認識型メモリプロンプト機構を導入する。
アクティビティのカバレッジが32%向上し、より高速な速度で31%のバグを検出する。
論文 参考訳（メタデータ） (2023-10-24T12:30:26Z) - LLM for Test Script Generation and Migration: Challenges, Capabilities,
and Opportunities [8.504639288314063]
テストスクリプト生成はソフトウェアテストの重要なコンポーネントであり、反復的なテストタスクの効率的かつ信頼性の高い自動化を可能にする。
既存の世代のアプローチは、さまざまなデバイス、プラットフォーム、アプリケーション間でテストスクリプトを正確にキャプチャし、再現することの難しさなど、しばしば制限に直面する。
本稿では,モバイルアプリケーションテストスクリプト生成分野における大規模言語モデル(LLM)の適用について検討する。
論文 参考訳（メタデータ） (2023-09-24T07:58:57Z) - Towards Autonomous Testing Agents via Conversational Large Language
Models [18.302956037305112]
大規模言語モデル(LLM)は自動テストアシスタントとして使用できる。
本稿では,LSMをベースとしたテストエージェントの自律性に基づく分類法を提案する。
論文 参考訳（メタデータ） (2023-06-08T12:22:38Z) - BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。
ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。
本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
論文 参考訳（メタデータ） (2023-02-14T22:07:57Z) - Towards Informed Design and Validation Assistance in Computer Games
Using Imitation Learning [65.12226891589592]
本稿では,自動ゲーム検証とテストのための新しいアプローチを提案する。
本手法は,データ駆動型模倣学習技術を活用し,時間と労力をほとんど必要とせず,機械学習やプログラミングの知識も必要としない。
論文 参考訳（メタデータ） (2022-08-15T11:08:44Z) - UKP-SQUARE: An Online Platform for Question Answering Research [50.35348764297317]
我々は、研究者向けのオンラインQAプラットフォームであるUKP-SQUAREを紹介した。
UKP-SQUAREでは、ユーザフレンドリーなWebインターフェースと統合テストを通じて、モダンスキルの大規模なコレクションをクエリし、分析することができる。
論文 参考訳（メタデータ） (2022-03-25T15:00:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。