論文の概要: Recommending Usability Improvements with Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2604.25420v1
• Date: Tue, 28 Apr 2026 09:29:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.796449
• Title: Recommending Usability Improvements with Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルによるユーザビリティの向上
• Authors: Sebastian Lubos, Alexander Felfernig, Damian Garber, Viet-Man Le, Manuel Henrich,
• Abstract要約: 本稿では,MLLMへの入力としてユーザインタラクションの限られたアプリケーションコンテキストとスクリーン記録を利用する新しいアプローチを提案する。 このモデルはNielsenのユーザビリティに基づいてユーザビリティの問題を自動的に識別し記述し、それに対応する説明と改善のレコメンデーションを提供する。
• 参考スコア（独自算出の注目度）: 40.82344810016507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Usability describes quality attributes of application user interfaces that determine how effectively users can interact with them. Traditional usability evaluation methods require considerable expertise and resources, which can be challenging, especially for small teams and organizations. Automating usability evaluation could make it more accessible and help to improve the user experience. The recent emergence of powerful multimodal large language models (MLLMs) has opened new opportunities for automating usability evaluation and recommendation of improvements. These models can process visual inputs such as images and videos alongside textual context, which enables the identification of usability issues and the generation of actionable suggestions to resolve these issues. In this paper, we present a novel automated approach that uses limited application context and screen recordings of user interactions as input to an MLLM. The model automatically identifies and describes usability issues based on Nielsens usability heuristics, and provides corresponding explanations and improvement recommendations. To reduce the developer effort of manual prioritization, the recommendations are ranked by severity. The quality and practical usefulness of the generated recommendations were evaluated based on a user study that involved software engineers as participants. The evaluation focused on the highest-ranked suggestions provided by the model. The results demonstrate the potential of our approach to provide low-effort usability improvement recommendations. This makes it a promising complement to traditional evaluation methods, especially in settings with limited access to usability experts. In this sense, the approach serves as a basis for future integration into development tools to enable automated usability evaluation within software engineering workflows.
• Abstract（参考訳）: ユーザビリティ(Usability)は、アプリケーションユーザインターフェースの品質特性を記述し、ユーザがいかに効果的に対話できるかを決定する。 従来のユーザビリティ評価手法には相当な専門知識とリソースが必要です。 ユーザビリティ評価を自動化することで、よりアクセスしやすくなり、ユーザエクスペリエンスの向上に役立ちます。 近年の強力なマルチモーダル大言語モデル(MLLM)の出現により、ユーザビリティ評価の自動化と改善の推奨の新たな機会が開かれた。 これらのモデルは、画像やビデオなどの視覚的な入力をテキストコンテキストと共に処理し、ユーザビリティの問題の識別と、これらの問題を解決するための実行可能な提案の生成を可能にする。 本稿では,MLLMへの入力としてユーザインタラクションの限られたアプリケーションコンテキストと画面記録を利用する,新しい自動化手法を提案する。 このモデルはNielsenのユーザビリティヒューリスティックスに基づいてユーザビリティの問題を自動的に識別し記述し、対応する説明と改善勧告を提供する。 手動優先順位付けの開発者の労力を減らすために、推奨事項は深刻度によってランク付けされる。 生成したレコメンデーションの品質と実用性を,ソフトウェア技術者を参加者として巻き込んだユーザスタディに基づいて評価した。 評価は、モデルが提供する最高の提案に焦点を当てた。 提案手法は,低便宜改善レコメンデーションを実現するためのアプローチの可能性を示すものである。 これにより、特にユーザビリティの専門家に限定された設定で、従来の評価手法を補完することが期待できる。 この意味で、このアプローチは将来の開発ツール統合の基礎として機能し、ソフトウェアエンジニアリングワークフローにおけるユーザビリティの自動評価を可能にします。

関連論文リスト

• RecThinker: An Agentic Framework for Tool-Augmented Reasoning in Recommendation [63.74915464611075]
  RecThinkerはツール拡張推論を推奨するエージェントフレームワークである。 我々はRecThinker専用のツール群を開発し、モデルがユーザアイテム側および協調的な情報を取得することを可能にする。
  論文  参考訳（メタデータ） (2026-03-10T16:07:17Z)
• Towards LLM-Based Usability Analysis for Recommender User Interfaces [41.966962052550656]
  我々は,マルチモーダルな大規模言語モデルの可能性を探り,レコメンダシステムインタフェースのユーザビリティを評価する。 複数のレコメンデーションプラットフォームからユーザインターフェースのスクリーンショットを取り込み、好みの誘惑とレコメンデーションのプレゼンテーションシナリオの両方をカバーします。
  論文  参考訳（メタデータ） (2025-11-18T11:05:13Z)
• Methods for evaluating software accessibility [0.0]
  より詳細で実用的なアクセシビリティ評価手法が提案されている。 Vasyl Stefanyk Precarpathian National Universityのウェブサイトのページのアクセシビリティの分析を行った。
  論文  参考訳（メタデータ） (2025-09-27T19:46:10Z)
• Towards Recommending Usability Improvements with Multimodal Large Language Models [40.77787659104315]
  ユーザビリティテストや検査などの一般的な評価手法は、有効だがリソース集約であり、専門家の関与を必要とする。 マルチモーダルLCMの最近の進歩は、ユーザビリティ評価プロセスを自動化するための有望な機会を提供する。 以上の結果から,LCMがより高速で低コストなユーザビリティ評価を可能にする可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-22T07:38:37Z)
• Multi-agents based User Values Mining for Recommendation [52.26100802380767]
  効率的なユーザ値抽出のためのゼロショットマルチLLM協調フレームワークを提案する。 本研究は,本質的な意味を保ちながら,項目内容のコンデンスにテキスト要約手法を適用した。 幻覚を緩和するために,評価役と監督役の2つの特殊エージェントの役割を導入する。
  論文  参考訳（メタデータ） (2025-05-02T04:01:31Z)
• Explainable Recommendation with Simulated Human Feedback [8.532115411106068]
  提案する提案手法は,人為的なフィードバック駆動型最適化フレームワークである。 このフレームワークは、人中心で説明可能な要求を達成するために、高い労働コストを発生させることなく、動的にインタラクティブな最適化機構を使用する。 特に,大規模言語モデル(LLM)を人間のシミュレータとして利用して,学習プロセスの指針となる人間的なフィードバックを予測することを提案する。
  論文  参考訳（メタデータ） (2025-04-19T02:46:10Z)
• Re-evaluating Open-ended Evaluation of Large Language Models [50.23008729038318]
  現在のEloベースのレーティングシステムは、データ、意図的、あるいは偶発的なバイアスの影響を受けやすく、さらに強化できることを示している。 本稿では,3人プレイヤゲームとしての評価を提案し,冗長性に対するロバスト性を確保するために,ゲーム理論の新たな概念を導入する。
  論文  参考訳（メタデータ） (2025-02-27T15:07:47Z)
• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Uncertainty-Aware Explainable Recommendation with Large Language Models [15.229417987212631]
  GPT-2のプロンプトとしてユーザおよびアイテム入力のIDベクトルを利用するモデルを開発する。 マルチタスク学習フレームワークには,推薦タスクと説明タスクの両方を最適化するために,共同トレーニング機構が採用されている。 提案手法はYelp, TripAdvisor, Amazon のデータセット上でそれぞれ 1.59 DIV, 0.57 USR, 0.41 FCR を達成する。
  論文  参考訳（メタデータ） (2024-01-31T14:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。