論文の概要: Long-Form Answers to Visual Questions from Blind and Low Vision People
- arxiv url: http://arxiv.org/abs/2408.06303v1
- Date: Mon, 12 Aug 2024 17:15:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:03:23.728251
- Title: Long-Form Answers to Visual Questions from Blind and Low Vision People
- Title（参考訳）: 盲人と低視者からの視覚的質問に対する長期回答
- Authors: Mina Huh, Fangyuan Xu, Yi-Hao Peng, Chongyan Chen, Hansika Murugu, Danna Gurari, Eunsol Choi, Amy Pavel,
- Abstract要約: VizWiz-LFは視覚障害者(BLV)による視覚的質問に対する長文回答のデータセットである。
LFVQAの文の機能的役割を開発し,長文回答が質問応答以上の情報を含んでいることを示す。
- 参考スコア（独自算出の注目度）: 54.00665222249701
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision language models can now generate long-form answers to questions about images - long-form visual question answers (LFVQA). We contribute VizWiz-LF, a dataset of long-form answers to visual questions posed by blind and low vision (BLV) users. VizWiz-LF contains 4.2k long-form answers to 600 visual questions, collected from human expert describers and six VQA models. We develop and annotate functional roles of sentences of LFVQA and demonstrate that long-form answers contain information beyond the question answer such as explanations and suggestions. We further conduct automatic and human evaluations with BLV and sighted people to evaluate long-form answers. BLV people perceive both human-written and generated long-form answers to be plausible, but generated answers often hallucinate incorrect visual details, especially for unanswerable visual questions (e.g., blurry or irrelevant images). To reduce hallucinations, we evaluate the ability of VQA models to abstain from answering unanswerable questions across multiple prompting strategies.
- Abstract（参考訳）: 視覚言語モデルは、画像に関する質問に対するロングフォームな回答(LFVQA)を生成することができる。
視覚障害者(BLV)による視覚的質問に対する長文回答のデータセットであるVizWiz-LFをコントリビュートする。
VizWiz-LFには、600の視覚的質問に対する4.2kの長文の回答が含まれており、人間の専門家記述子と6つのVQAモデルから収集されている。
我々は,LFVQAの文の機能的役割を開発し,長文回答には説明や提案などの質問応答以外の情報が含まれていることを実証する。
さらに,BLVによる自動的,人為的評価を行い,長期的回答を評価する。
BLVの人々は、人間によって書かれた長文の回答と、それが生成した長文の回答の両方が妥当であると認識するが、生成された答えは、しばしば不正確な視覚的詳細(例えば、ぼやけた画像、無関係の画像)を幻覚させる。
幻覚を抑えるために,複数のプロンプト戦略にまたがる解決不可能な疑問に答えることを禁じるVQAモデルの有効性を評価する。
関連論文リスト
- Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。
この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
論文 参考訳（メタデータ） (2024-07-16T17:23:16Z) - CommVQA: Situating Visual Question Answering in Communicative Contexts [16.180130883242672]
画像、画像記述、実世界のコミュニケーションシナリオからなるデータセットであるCommVQAを紹介する。
CommVQAの解決には文脈情報へのアクセスが不可欠であることを示す。
論文 参考訳（メタデータ） (2024-02-22T22:31:39Z) - Language Guided Visual Question Answering: Elevate Your Multimodal
Language Model Using Knowledge-Enriched Prompts [54.072432123447854]
視覚的質問応答(VQA)は、画像に関する質問に答えるタスクである。
疑問に答えるには、常識知識、世界知識、イメージに存在しないアイデアや概念についての推論が必要である。
本稿では,論理文や画像キャプション,シーングラフなどの形式で言語指導(LG)を用いて,より正確に質問に答えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:54:11Z) - OpenViVQA: Task, Dataset, and Multimodal Fusion Models for Visual
Question Answering in Vietnamese [2.7528170226206443]
ベトナム初の視覚的質問応答のための大規模データセットであるOpenViVQAデータセットを紹介する。
データセットは37,000以上の質問応答ペア(QA)に関連付けられた11,000以上の画像で構成されている。
提案手法は,SAAA,MCAN,LORA,M4CなどのSOTAモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2023-05-07T03:59:31Z) - Can Pre-trained Vision and Language Models Answer Visual
Information-Seeking Questions? [50.29862466940209]
情報検索に適した視覚的質問応答データセットであるInfoSeekを紹介する。
事前学習した様々な視覚的質問応答モデルを分析し,その特徴について考察する。
関連文書を検索することでInfoSeekの性能を向上させるために,正確な視覚的実体認識が利用できることを示す。
論文 参考訳（メタデータ） (2023-02-23T00:33:54Z) - A-OKVQA: A Benchmark for Visual Question Answering using World Knowledge [39.788346536244504]
A-OKVQAは、約25万の質問からなるクラウドソーシングデータセットである。
我々は、この新たなデータセットの可能性について、その内容の詳細な分析を通して示す。
論文 参考訳（メタデータ） (2022-06-03T17:52:27Z) - How Do We Answer Complex Questions: Discourse Structure of Long-form
Answers [51.973363804064704]
3つのデータセットから収集した長文回答の機能構造について検討した。
私たちの主な目標は、人間が複雑な答えを作るためにどのように情報を整理するかを理解することです。
我々の研究は、長期QAシステムの談話レベルのモデリングと評価に関する将来の研究に刺激を与えることができる。
論文 参考訳（メタデータ） (2022-03-21T15:14:10Z) - Grounding Answers for Visual Questions Asked by Visually Impaired People [16.978747012406266]
VizWiz-VQA-Groundingは、視覚障害者が質問する視覚的質問に答えを視覚的に根拠付ける最初のデータセットである。
データセットを分析し、それを5つのVQA-Groundingデータセットと比較し、類似点と異なる点を実証します。
論文 参考訳（メタデータ） (2022-02-04T06:47:16Z) - Visual Question Rewriting for Increasing Response Rate [12.700769102964088]
人からの回答率を改善するために、自然言語の質問を自動的に書き換える方法について検討する。
視覚的情報を用いて新しい質問を改善するために,視覚的質問書き換え(VQR)タスクが導入された。
論文 参考訳（メタデータ） (2021-06-04T04:46:47Z) - SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。
この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。
我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
論文 参考訳（メタデータ） (2020-01-20T01:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。