論文の概要: Evaluating Multimodal Language Models as Visual Assistants for Visually Impaired Users

• arxiv url: http://arxiv.org/abs/2503.22610v1
• Date: Fri, 28 Mar 2025 16:54:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:33:05.157100
• Title: Evaluating Multimodal Language Models as Visual Assistants for Visually Impaired Users
• Title（参考訳）: 視覚障害者のための視覚アシスタントとしてのマルチモーダル言語モデルの評価
• Authors: Antonia Karamolegkou, Malvina Nikandrou, Georgios Pantazopoulos, Danae Sanchez Villegas, Phillip Rust, Ruchira Dhar, Daniel Hershcovich, Anders Søgaard,
• Abstract要約: 本稿では、視覚障害者のための補助技術として、MLLM(Multimodal Large Language Model)の有効性について検討する。 このようなテクノロジでユーザが直面する採用パターンと,重要な課題を特定するために,ユーザ調査を実施しています。
• 参考スコア（独自算出の注目度）: 42.132487737233845
• License:
• Abstract: This paper explores the effectiveness of Multimodal Large Language models (MLLMs) as assistive technologies for visually impaired individuals. We conduct a user survey to identify adoption patterns and key challenges users face with such technologies. Despite a high adoption rate of these models, our findings highlight concerns related to contextual understanding, cultural sensitivity, and complex scene understanding, particularly for individuals who may rely solely on them for visual interpretation. Informed by these results, we collate five user-centred tasks with image and video inputs, including a novel task on Optical Braille Recognition. Our systematic evaluation of twelve MLLMs reveals that further advancements are necessary to overcome limitations related to cultural context, multilingual support, Braille reading comprehension, assistive object recognition, and hallucinations. This work provides critical insights into the future direction of multimodal AI for accessibility, underscoring the need for more inclusive, robust, and trustworthy visual assistance technologies.
• Abstract（参考訳）: 本稿では、視覚障害者のための補助技術として、MLLM(Multimodal Large Language Model)の有効性について検討する。 このようなテクノロジでユーザが直面する採用パターンと,重要な課題を特定するために,ユーザ調査を実施しています。 これらのモデルの採用率が高いにもかかわらず、これらの発見は文脈的理解、文化的な感受性、複雑なシーン理解に関連する懸念、特に視覚的解釈にのみ依存する個人に焦点をあてる。 これらの結果から,光学点字認識の新たな課題を含む,画像と映像の入力を伴う5つのユーザ中心タスクを照合した。 12個のMLLMの体系的評価から,文化的文脈,多言語サポート,点字読解,補助的物体認識,幻覚に関する限界を克服するためには,さらなる進歩が必要であることが示唆された。 この研究は、アクセシビリティのためのマルチモーダルAIの将来的な方向性に関する重要な洞察を提供し、より包括的で堅牢で信頼性の高い視覚支援技術の必要性を強調している。

関連論文リスト

• Unveiling Visual Perception in Language Models: An Attention Head Analysis Approach [33.20992355312175]
  MLLM(Multimodal Large Language Models)の最近の進歩は、視覚的理解の著しい進歩を示している。 本稿では,4つのモデルファミリーと4つのモデルスケールにまたがる系統的な調査により,この問題に対処することを目的とする。 分析の結果,これらの注意ヘッドの挙動,注意重みの分布,および入力中の視覚的トークンへの集中との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2024-12-24T02:31:24Z)
• Explainable and Interpretable Multimodal Large Language Models: A Comprehensive Survey [46.617998833238126]
  大規模言語モデル(LLM)とコンピュータビジョン(CV)システムは、自然言語理解と視覚処理の進歩を促進する。 これらの技術の収束がマルチモーダルAIの台頭を触媒し、テキスト、ビジョン、オーディオ、ビデオモダリティにまたがるよりリッチでクロスモーダルな理解を可能にした。 マルチモーダル大規模言語モデル(MLLM)は、画像テキスト生成、視覚的質問応答、相互モーダル検索といったタスクにおいて印象的な機能を示す強力なフレームワークとして登場した。 これらの進歩にもかかわらず、MLLMの複雑さと規模は解釈可能性と説明可能性において大きな課題をもたらし、確立に不可欠である。
  論文  参考訳（メタデータ） (2024-12-03T02:54:31Z)
• LLaVA-Read: Enhancing Reading Ability of Multimodal Language Models [60.67899965748755]
  両ビジュアルエンコーダとビジュアルテキストエンコーダを併用したマルチモーダル大規模言語モデルであるLLaVA-Readを提案する。 我々の研究は、ビジュアルテキスト理解は依然としてオープンな課題であり、将来のマルチモーダルシステムにとって効率的なビジュアルテキストエンコーダが不可欠であることを示唆している。
  論文  参考訳（メタデータ） (2024-07-27T05:53:37Z)
• MR-MLLM: Mutual Reinforcement of Multimodal Comprehension and Vision Perception [24.406224705072763]
  Mutually Reinforced Multimodal Large Language Model (MR-MLLM) は視覚知覚とマルチモーダル理解を高める新しいフレームワークである。 まず、視覚モデルからの詳細な視覚入力と言語モデルの言語深度を調和させるために、共有クエリ融合機構を提案する。 第2に、視覚知覚出力から新たなモダリティを取り入れた、知覚強化型クロスモーダル積分法を提案する。
  論文  参考訳（メタデータ） (2024-06-22T07:10:36Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々はDraw-and-Understandフレームワークを提案し、視覚的プロンプト理解機能をMLLM(Multimodal Large Language Models)に統合する方法を探る。 視覚的なプロンプトにより、ユーザーはマルチモーダルなインストラクションを通じて対話することができ、モデルの対話性ときめ細かなイメージ理解を高めることができる。 本稿では,様々な学習済みMLLMに適応し,様々な視覚的プロンプトを認識可能な汎用アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。