論文の概要: From GUI Tests to Conversational Interaction: A New Perspective on App-Specific Voice Assistants
- arxiv url: http://arxiv.org/abs/2607.11387v1
- Date: Mon, 13 Jul 2026 10:47:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.440564
- Title: From GUI Tests to Conversational Interaction: A New Perspective on App-Specific Voice Assistants
- Title（参考訳）: GUIテストから会話インタラクションへ:アプリ特化音声アシスタントの新しい視点
- Abstract要約: アプリ固有の音声アシスタントの開発を自動化するLLM駆動型アプローチを提案する。
テストメソッドを音声インテントや機能記述,実行可能なアクションプランなど,アプリ固有のVAアーティファクトに変換する。
5つのオープンソースアプリケーションにまたがる予備的な結果は、GUIテストコードがテストを超えて再利用可能であることを示唆している。
- 参考スコア（独自算出の注目度）: 0.6732076464377242
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Voice assistants are widely deployed on mobile platforms, yet most are designed as system-level services that remain poorly aligned with application-specific behavior. As a result, enabling voice interaction at the app level requires developers to manually reimplement application logic, leading to high development and maintenance costs. We propose an LLM-driven approach to automating the development of app-specific voice assistants by repurposing GUI test code, which encodes behavior-preserving, executable specifications of application functionality. In this paper, we present a perspective in which large language models reinterpret GUI tests as bridges between application behavior and conversational interaction. By transforming test methods into app-specific VA artifacts, such as voice intents, capability descriptions, and executable action plans, our approach grounds voice assistants directly in existing application logic rather than external specifications. We illustrate this vision through AppVA, a research prototype on Android. Our preliminary results across five open-source applications suggest that GUI test code can be reused beyond testing, enabling the synthesis of app-specific voice assistants and highlighting a broader research direction at the intersection of software testing, interaction design, and LLM-enabled automation.
- Abstract（参考訳）: ボイスアシスタントはモバイルプラットフォームに広くデプロイされているが、多くはアプリケーション固有の動作に不整合なシステムレベルのサービスとして設計されている。
結果として、アプリレベルでの音声インタラクションを有効にするには、開発者が手動でアプリケーションロジックを再実装する必要があるため、開発とメンテナンスのコストが高くなる。
本稿では,GUIテストコードの再利用により,アプリケーション固有の音声アシスタントの開発を自動化するLLM方式を提案する。
本稿では,大規模言語モデルがGUIテストをアプリケーション動作と対話的相互作用のブリッジとして再解釈する視点について述べる。
テストメソッドを音声インテント、機能記述、実行可能なアクションプランなどのアプリ固有のVAアーティファクトに変換することで、我々のアプローチは、外部仕様ではなく、既存のアプリケーションロジックに直接音声アシスタントを組み込む。
このビジョンは,AndroidのプロトタイプであるAppVAを通じて説明します。
5つのオープンソースアプリケーションを対象とした予備的な結果は、GUIテストコードがテストを超えて再利用可能であることを示唆し、アプリ固有の音声アシスタントの合成を可能にし、ソフトウェアテスト、インタラクション設計、LLM対応自動化の交差点におけるより広範な研究方向性を強調します。
関連論文リスト
- AppForge: From Assistant to Independent Developer - Are GPTs Ready for Software Development? [28.63033734662797]
APPFORGEは、現実世界のAndroidアプリから引き出された101のソフトウェア開発問題からなるベンチマークである。
アプリケーション文書から主要な機能を自動で要約するマルチエージェントシステムを設計し、テストケースを合成するためにアプリをナビゲートする。
Android開発専門家による厳格な手作業による検証に続いて、APPFORGEでは、テストケースを自動評価フレームワークに組み込んでいる。
論文 参考訳（メタデータ） (2025-10-09T03:26:05Z) - GUISpector: An MLLM Agent Framework for Automated Verification of Natural Language Requirements in GUI Prototypes [58.197090145723735]
本稿では,GUIプロトタイプにおけるNL要求の自動検証にマルチモーダル(M)LLMエージェントを利用する新しいフレームワークを提案する。
GuiSpectorはエージェントの検証プロセスから詳細なNLフィードバックを抽出し、開発者に実行可能な洞察を提供する。
本稿では,これらの機能を統合化し,検証実行の監視,エージェントの合理性検査,エンドツーエンドの要件検証プロセスの管理を行うインターフェースを提供する。
論文 参考訳（メタデータ） (2025-10-06T13:15:24Z) - A Multimodal GUI Architecture for Interfacing with LLM-Based Conversational Assistants [0.0]
本稿では、GUIが音声対応アシスタントと対話できる具体的なアーキテクチャを提供する。
アーキテクチャにより、アプリケーションのナビゲーショングラフとセマンティクスは、モデルコンテキストプロトコル(MCP)を介して利用可能になる。
プライバシとデータセキュリティに関する懸念に対処するため、音声対応マルチモーダルUIのためのローカル展開可能なオープンウェイトLLMの実用的有効性を評価した。
論文 参考訳（メタデータ） (2025-08-31T14:40:11Z) - Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。
その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。
本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
論文 参考訳（メタデータ） (2025-08-28T13:00:28Z) - Generative Interfaces for Language Models [70.25765232527762]
ユーザインタフェース(UI)を積極的に生成することにより,大規模言語モデル(LLM)がユーザクエリに応答するパラダイムを提案する。
本フレームワークは,ユーザクエリをタスク固有のUIに変換するために,構造化インターフェース固有の表現と反復的洗練を活用している。
その結果、生成的インタフェースは人間の嗜好を最大72%改善し、会話的インタフェースよりも一貫して優れていた。
論文 参考訳（メタデータ） (2025-08-26T17:43:20Z) - Beyond Syntax: Action Semantics Learning for App Agents [60.56331102288794]
アクションセマンティックス学習(ASL、Action Semantics Learning)は、学習目的が真理行動の意味を捉える学習フレームワークである。
ASLは既存のメソッドよりもApp Agentの精度と一般化を大幅に改善する。
論文 参考訳（メタデータ） (2025-06-21T12:08:19Z) - LLM-Guided Scenario-based GUI Testing [22.70111721644705]
本稿では,GUIのセマンティクスと文脈的関連性を理解するために,大規模言語モデルを活用するアプローチを提案する。
手動テストフェーズをシミュレートし,自動化するためにマルチエージェント協調を用いたシナリオベースGUIテストフレームワークであるScenGenを提案する。
論文 参考訳（メタデータ） (2025-06-05T14:27:40Z) - VoiceBench: Benchmarking LLM-Based Voice Assistants [58.84144494938931]
大規模言語モデル(LLM)に基づいて音声アシスタントを評価する最初のベンチマークであるVoiceBenchを紹介する。
VoiceBenchには、上記の3つの重要な実世界のバリエーションを含む、実話と合成音声の両方が含まれている。
大規模な実験は、現在のLLMベースの音声アシスタントモデルの限界を明らかにし、この分野における将来の研究・開発に貴重な洞察を提供する。
論文 参考訳（メタデータ） (2024-10-22T17:15:20Z) - Model-Enhanced LLM-Driven VUI Testing of VPA Apps [10.451676569481148]
モデル強化型大規模言語モデル(LLM)駆動型VUIテストフレームワークであるElevateを紹介した。
これは、最先端のテスタであるVitasに対して、4000の現実世界のAlexaスキルでベンチマークされている。
あらゆる種類のアプリでVitaよりも15%高いステートスペースカバレッジを実現しており、効率が大幅に向上している。
論文 参考訳（メタデータ） (2024-07-03T03:36:05Z) - Chatting with GPT-3 for Zero-Shot Human-Like Mobile Automated GUI
Testing [23.460051600514806]
GPTDroid を提案し,GUI ページ情報を LLM に渡してテストスクリプトを抽出することにより,大規模言語モデルにモバイルアプリとのチャットを依頼する。
そこで我々はGUIページの静的コンテキストと反復テストプロセスの動的コンテキストを抽出する。
Google Playの86のアプリ上でGPTDroidを評価し、そのアクティビティカバレッジは71%で、最高のベースラインよりも32%高く、最高のベースラインよりも高速で36%多くのバグを検出することができます。
論文 参考訳（メタデータ） (2023-05-16T13:46:52Z) - A Case Study in Engineering a Conversational Programming Assistant's
Persona [72.47187215119664]
会話能力は、既存のコード流大言語モデルを使用することで達成された。
プロンプトの進化に関する議論は、既存の基礎モデルを特定のアプリケーションに望ましい方法で振る舞う方法に関するケーススタディを提供する。
論文 参考訳（メタデータ） (2023-01-13T14:48:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。