論文の概要: EgoBlind: Towards Egocentric Visual Assistance for the Blind

• arxiv url: http://arxiv.org/abs/2503.08221v4
• Date: Mon, 03 Nov 2025 04:52:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-04 16:14:21.913497
• Title: EgoBlind: Towards Egocentric Visual Assistance for the Blind
• Title（参考訳）: EgoBlind: 盲人に対するエゴセントリックな視覚支援を目指して
• Authors: Junbin Xiao, Nanxin Huang, Hao Qiu, Zhulin Tao, Xun Yang, Richang Hong, Meng Wang, Angela Yao,
• Abstract要約: EgoBlindは、視覚障害者から収集された最初のエゴセントリックなビデオQAデータセットである。 視覚障害者と視覚障害者の日常生活の1,392人の初対人ビデオで構成されている。 また、視覚補助のために、視覚障害者が直接提示または検証した5,311の質問も入っている。
• 参考スコア（独自算出の注目度）: 94.45487133965361
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present EgoBlind, the first egocentric VideoQA dataset collected from blind individuals to evaluate the assistive capabilities of contemporary multimodal large language models (MLLMs). EgoBlind comprises 1,392 first-person videos from the daily lives of blind and visually impaired individuals. It also features 5,311 questions directly posed or verified by the blind to reflect their in-situation needs for visual assistance. Each question has an average of 3 manually annotated reference answers to reduce subjectiveness. Using EgoBlind, we comprehensively evaluate 16 advanced MLLMs and find that all models struggle. The best performers achieve an accuracy near 60\%, which is far behind human performance of 87.4\%. To guide future advancements, we identify and summarize major limitations of existing MLLMs in egocentric visual assistance for the blind and explore heuristic solutions for improvement. With these efforts, we hope that EgoBlind will serve as a foundation for developing effective AI assistants to enhance the independence of the blind and visually impaired. Data and code are available at https://github.com/doc-doc/EgoBlind.
• Abstract（参考訳）: EgoBlindは、視覚障害者から収集された最初のエゴセントリックなビデオQAデータセットであり、現代のマルチモーダル大言語モデル(MLLM)の補助能力を評価する。 EgoBlindは、視覚障害者と視覚障害者の日常生活の1,392人の個人ビデオで構成されている。 また、視覚補助のために、視覚障害者が直接提示または検証した5,311の質問も入っている。 各質問は、主観性を減らすために、平均3つの注釈付き参照回答を持つ。 EgoBlindを用いて16種類の高度なMLLMを総合的に評価し、全てのモデルが苦労していることを見出した。 ベストパフォーマーの精度は60 %近くで、これは人間のパフォーマンス87.4 %よりはるかに遅れている。 今後の進歩を導くため、視覚障害者のための自我中心型視覚支援における既存のMLLMの大きな限界を特定し、要約し、改善のためのヒューリスティックなソリューションを探究する。 これらの取り組みにより、EgoBlindは、視覚障害者の独立性を高める効果的なAIアシスタントを開発するための基盤となることを願っている。 データとコードはhttps://github.com/doc-doc/EgoBlind.comで入手できる。

関連論文リスト

• GuideDog: A Real-World Egocentric Multimodal Dataset for Blind and Low-Vision Accessibility-Aware Guidance [18.467461615621872]
  視力低下と低視力(BLV)による世界22億人にとって、モビリティは依然として重要な課題である。 本稿では,22K画像記述ペアを含む新しいアクセシビリティ対応ガイドデータセットである GuideDogを紹介する。 また818個のサンプルのサブセットである GuideDogQA も開発した。
  論文  参考訳（メタデータ） (2025-03-17T05:43:40Z)
• Exo2Ego: Exocentric Knowledge Guided MLLM for Egocentric Video Understanding [69.96199605596138]
  現在のMLLMは、主に第三者(外見中心)のビジョンに焦点を当てており、一対一(自我中心)の動画のユニークな側面を見下ろしている。 本研究では,エゴ中心領域とエゴ中心領域のマッピングを学習し,エゴ中心領域の理解を高めることを提案する。 Ego-ExoClipは1.1M同期のEgo-Exoクリップテキストペアからなる事前学習データセットである。
  論文  参考訳（メタデータ） (2025-03-12T08:10:33Z)
• EgoLife: Towards Egocentric Life Assistant [60.51196061794498]
  我々はEgoLifeを紹介した。EgoLifeは、AIを使ったウェアラブルグラスを通じて、個人の効率を向上するエゴセントリックなライフアシスタントを開発するプロジェクトだ。 我々は、6人の参加者が1週間一緒に暮らし、マルチモーダル・エゴセントリックなビデオキャプチャーにAIグラスを使用して日々の活動を継続的に記録し、同期された3人称ビデオ参照を行う総合的なデータ収集研究を行った。 この取り組みの結果、EgoLifeデータセットは、集中的なアノテーションを備えた300時間のエゴセントリック、対人、マルチビュー、マルチモーダルの日常生活データセットである。 私たちはEgoLifeQAを紹介します。EgoLifeQAは、長いコンテキスト、ライフ指向の質問応答タスクのスイートで、提供するように設計されています。
  論文  参考訳（メタデータ） (2025-03-05T18:54:16Z)
• VLFeedback: A Large-Scale AI Feedback Dataset for Large Vision-Language Models Alignment [55.7956150385255]
  本稿では,視覚言語モデルの整合性向上のためのAIフィードバックの有効性について検討する。 最初の大規模視覚言語フィードバックデータセットであるVLFeedbackを紹介する。 我々は、VLFeedback上で直接選好最適化によって微調整されたLVLMであるSilkieを訓練する。
  論文  参考訳（メタデータ） (2024-10-12T07:56:47Z)
• MM-Ego: Towards Building Egocentric Multimodal LLMs [72.47344411599322]
  本研究の目的は,エゴセントリックな映像理解のためのマルチモーダル基盤モデルの構築である。 我々は,人間による注釈付きデータに基づいて,30秒から1時間に及ぶエゴセントリックビデオの高品質なQAサンプルを効率よく生成するデータエンジンを開発した。 我々は、629の動画と7,026の質問でエゴセントリックなQAベンチマークを作成し、様々な長さのビデオで視覚的詳細を認識・記憶するモデルの能力を評価する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:59Z)
• MACAROON: Training Vision-Language Models To Be Your Engaged Partners [95.32771929749514]
  大規模視覚言語モデル(LVLM)は、質問が曖昧でラベルが付されていない場合でも詳細な応答を生成する。 本研究では,LVLMを受動的回答提供者から積極的参加パートナーへ移行することを目的とする。 我々は、LVLMに対して、ラベルなし質問に対するコントラスト応答対を自律的に生成するように指示する、ContrAstive pReference Optimizationのための自己iMaginAtionであるMACAROONを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T09:27:33Z)
• EgoThink: Evaluating First-Person Perspective Thinking Capability of Vision-Language Models [21.410065053609877]
  視覚言語モデル(VLM)は、最近、従来の下流タスクにおいて有望な結果を示している。 EgoThinkは、12の詳細な次元を持つ6つのコア機能を含む、新しい視覚的質問答えベンチマークである。
  論文  参考訳（メタデータ） (2023-11-27T07:44:25Z)
• Ego-Exo: Transferring Visual Representations from Third-person to First-person Videos [92.38049744463149]
  大規模第3者映像データセットを用いた自己中心型映像モデルの事前訓練手法について紹介する。 私たちのアイデアは、重要なエゴセントリック特性を予測する第三者ビデオから潜在信号を見つけることです。 実験の結果,Ego-Exoフレームワークは標準ビデオモデルにシームレスに統合可能であることがわかった。
  論文  参考訳（メタデータ） (2021-04-16T06:10:10Z)
• Enhanced Self-Perception in Mixed Reality: Egocentric Arm Segmentation and Database with Automatic Labelling [1.0149624140985476]
  本研究は、拡張仮想性における自己認識を改善するために、自我中心の腕のセグメンテーションに焦点を当てる。 GTEA Gaze+, EDSH, EgoHands, Ego Youtube Hands, THU-Read, TEgO, FPAB, Ego Gesture などの実効自我中心のデータセットについて報告する。 このタスクに対するEgoArmデータセットの適合性を確認し、元のネットワークに対して最大40%の改善を実現した。
  論文  参考訳（メタデータ） (2020-03-27T12:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。