論文の概要: Insight: Enhancing Mobile Accessibility for Blind and Visually Impaired Users with LLMs

• arxiv url: http://arxiv.org/abs/2605.09803v1
• Date: Sun, 10 May 2026 22:51:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.426452
• Title: Insight: Enhancing Mobile Accessibility for Blind and Visually Impaired Users with LLMs
• Title（参考訳）: Insight: LLMを使った盲人と視覚障害者のモバイルアクセシビリティ向上
• Authors: Joshua Owusu Ansah, Anuj Kapoor, Ayush Khanna, Manvika Vinod, Precious Njeck, Shuai Gao,
• Abstract要約: 本稿では,画面の自然言語インタラクションとリアルタイム要約を提供するAndroidアクセシビリティサービスであるInsightを紹介する。 その結果、Insightは精神的な労力とタスクタイムを減らし、対話インタフェースが好まれたが、ユーザーは割り込み管理の必要性を感じた。
• 参考スコア（独自算出の注目度）: 0.6717411448500911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This research paper addresses the limitations of current mobile accessibility services like TalkBack, which provide manual gesture-based sequential feedback to BVI users. Motivated by the promise of large language models (LLMs), this paper introduces Insight, an Android accessibility service that provides natural language interaction and real-time summarization of the screen. The paper performs a within-subject experimental study with users to compare Insight and TalkBack on usability factors. Results show Insight reduced mental effort and task time, and was preferred because of its dialogue interface, but users felt the need for interruption management. Results show LLM-based interfaces can significantly improve mobile accessibility, and describe the potential of hybrid solutions combining gesture and dialogue modalities towards more inclusive design.
• Abstract（参考訳）: 本研究では,BVIユーザに対して手動ジェスチャーに基づくシーケンシャルフィードバックを提供するTalkBackのようなモバイルアクセシビリティサービスの限界について論じる。 本稿では,大規模言語モデル (LLM) の約束に感銘を受けて,画面の自然言語インタラクションとリアルタイム要約を提供するAndroidアクセシビリティサービスであるInsightを紹介する。 本論文は,Insight と TalkBack をユーザビリティ要因で比較するために,ユーザを対象に実験を行った。 その結果、Insightは精神的な労力とタスクタイムを減らし、対話インタフェースが好まれたが、ユーザーは割り込み管理の必要性を感じた。 以上の結果から,LCMベースのインタフェースはモバイルアクセシビリティを著しく向上させ,より包括的設計に向けたジェスチャーと対話のモダリティを組み合わせたハイブリッドソリューションの可能性を示す。

関連論文リスト

• GhostUI: Unveiling Hidden Interactions in Mobile UI [12.023496228003337]
  GhostUIは、モバイルアプリケーションにおける隠れたインタラクションの検出を可能にするために設計された、新しいデータセットである。 GhostUIは、前後のスクリーンショット、シンプルなビュー階層、ジェスチャメタデータ、タスク記述を提供する。
  論文  参考訳（メタデータ） (2026-01-27T06:40:29Z)
• Generative Interfaces for Language Models [70.25765232527762]
  ユーザインタフェース(UI)を積極的に生成することにより,大規模言語モデル(LLM)がユーザクエリに応答するパラダイムを提案する。 本フレームワークは,ユーザクエリをタスク固有のUIに変換するために,構造化インターフェース固有の表現と反復的洗練を活用している。 その結果、生成的インタフェースは人間の嗜好を最大72%改善し、会話的インタフェースよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-08-26T17:43:20Z)
• User Feedback in Human-LLM Dialogues: A Lens to Understand Users But Noisy as a Learning Signal [59.120335322495436]
  ユーザ-LLM会話ログのユーザフィードバックを分析し、そのようなフィードバックの発生時期と理由について考察する。 第2に、このような暗黙のユーザフィードバックから学習信号を抽出することについて研究する。
  論文  参考訳（メタデータ） (2025-07-30T23:33:29Z)
• Exploring Mobile Touch Interaction with Large Language Models [26.599610206222142]
  テキスト上で直接実行されるタッチジェスチャーを用いて,大規模言語モデルを制御することを提案する。 以上の結果から, LLMのタッチによる制御は, 実現可能かつユーザフレンドリであることがわかった。 この研究は、タッチデバイス上でのLDMとのジェスチャーによるインタラクションに関するさらなる研究の基盤となる。
  論文  参考訳（メタデータ） (2025-02-11T15:17:00Z)
• Constraining Participation: Affordances of Feedback Features in Interfaces to Large Language Models [49.266685603250416]
  大規模言語モデル(LLM)は、コンピュータ、Webブラウザ、ブラウザベースのインターフェースによるインターネット接続を持つ人なら誰でも利用できるようになった。 本稿では,ChatGPTインタフェースの対話型フィードバック機能によって,LLMへのユーザ参加が期待できるかを検討する。
  論文  参考訳（メタデータ） (2024-08-27T13:50:37Z)
• Large Language User Interfaces: Voice Interactive User Interfaces powered by LLMs [5.06113628525842]
  ユーザとユーザインターフェース(UI)の仲介として機能するフレームワークを提案する。 アノテーションの形でUIコンポーネントのテキストセマンティックマッピングに立つシステムを採用している。 我々のエンジンは、最も適切なアプリケーションを分類し、関連するパラメータを抽出し、その後、ユーザの期待するアクションの正確な予測を実行することができる。
  論文  参考訳（メタデータ） (2024-02-07T21:08:49Z)
• Enabling Conversational Interaction with Mobile UI using Large Language Models [15.907868408556885]
  自然言語で多様なUIタスクを実行するには、開発者は通常、特定のタスクごとに別々のデータセットとモデルを作成する必要がある。 本稿では,単一言語モデルを用いて,モバイルUIとの多目的対話を実現することの実現可能性について検討する。
  論文  参考訳（メタデータ） (2022-09-18T20:58:39Z)
• Mobile App Tasks with Iterative Feedback (MoTIF): Addressing Task Feasibility in Interactive Visual Environments [54.405920619915655]
  これまで最大数のインタラクティブ環境向けに自然言語コマンドを用いたデータセットであるMoTIF(Iterative Feedback)を用いたモバイルアプリタスクを紹介します。 MoTIFは、満足できないインタラクティブ環境のための自然言語リクエストを最初に含んでいる。 初期実現可能性分類実験を行い、より豊かな視覚言語表現の必要性を検証し、f1スコア37.3まで到達した。
  論文  参考訳（メタデータ） (2021-04-17T14:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。