論文の概要: InfographicVQA

• arxiv url: http://arxiv.org/abs/2104.12756v1
• Date: Mon, 26 Apr 2021 17:45:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 15:01:33.287972
• Title: InfographicVQA
• Title（参考訳）: インフォグラフィックVQA
• Authors: Minesh Mathew, Viraj Bagal, Rub\`en P\'erez Tito, Dimosthenis Karatzas, Ernest Valveny, C.V Jawahar
• Abstract要約: InfographicVQAは、さまざまなインフォグラフィックコレクションと自然言語の質問と回答アノテーションを含む、新しいデータセットである。 基本推論と基本算術スキルを必要とする質問に重点を置いたデータセットをキュレートする。 データセット、コード、およびリーダーボードはhttp://docvqa.org.comで入手できる。
• 参考スコア（独自算出の注目度）: 31.084392784258032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infographics are documents designed to effectively communicate information using a combination of textual, graphical and visual elements. In this work, we explore the automatic understanding of infographic images by using Visual Question Answering technique.To this end, we present InfographicVQA, a new dataset that comprises a diverse collection of infographics along with natural language questions and answers annotations. The collected questions require methods to jointly reason over the document layout, textual content, graphical elements, and data visualizations. We curate the dataset with emphasis on questions that require elementary reasoning and basic arithmetic skills. Finally, we evaluate two strong baselines based on state of the art multi-modal VQA models, and establish baseline performance for the new task. The dataset, code and leaderboard will be made available at http://docvqa.org
• Abstract（参考訳）: インフォグラフィック(英: Infographics)とは、テキスト、グラフィカル、ビジュアルの各要素を組み合わせて情報を効果的に伝達する文書である。 本研究では,視覚的質問回答技術を用いて,インフォグラフィック画像の自動理解について検討する。この目的のために,インフォグラフィックの多様なコレクションと,自然言語の質問や回答アノテーションを含む新しいデータセットであるInfographicVQAを提案する。 収集された質問は、文書のレイアウト、テキストの内容、グラフィカル要素、データの視覚化を共同で考える方法を必要とする。 基本推論と基本算術スキルを必要とする質問に重点を置いたデータセットをキュレートする。 最後に,芸術的マルチモーダルVQAモデルの状態に基づく2つの強いベースラインを評価し,新しいタスクのベースライン性能を確立する。 dataset, code, leaderboardはhttp://docvqa.orgで利用可能になる。

関連論文リスト

• Ask Questions with Double Hints: Visual Question Generation with Answer-awareness and Region-reference [107.53380946417003]
  本稿では,応答認識と領域参照を用いた視覚的質問生成のための新しい学習パラダイムを提案する。 我々は、追加の人間のアノテーションを導入することなく、視覚的ヒントを自己学習する簡単な手法を開発した。
  論文  参考訳（メタデータ） (2024-07-06T15:07:32Z)
• Enhancing Vision Models for Text-Heavy Content Understanding and Interaction [0.0]
  画像エンコーディングのためのCLIPとMassive Text Embedding Benchmarkのモデルを統合したビジュアルチャットアプリケーションを構築した。 プロジェクトの目的は、複雑な視覚的テキストデータ相互接続データの理解において、先進視覚モデルの能力を高め、強化することである。
  論文  参考訳（メタデータ） (2024-05-31T15:17:47Z)
• ScreenAI: A Vision-Language Model for UI and Infographics Understanding [4.914575630736291]
  UIとインフォグラフィックの理解を専門とする視覚言語モデルであるScreenAIを紹介する。 この混合の核心は、モデルがUI要素のタイプと位置を識別しなければならない新しいスクリーンアノテーションタスクである。 これらのテキストアノテーションを使用して、画面を大規模言語モデルに記述し、質問応答(QA)、UIナビゲーション、要約トレーニングデータセットを大規模に生成する。
  論文  参考訳（メタデータ） (2024-02-07T06:42:33Z)
• Making the V in Text-VQA Matter [1.2962828085662563]
  テキストベースのVQAは,画像中のテキストを読み取って質問に答えることを目的としている。 近年の研究では、データセットの問合せ対は、画像に存在するテキストにより焦点を絞っていることが示されている。 このデータセットでトレーニングされたモデルは、視覚的コンテキストの理解の欠如による偏りのある回答を予測する。
  論文  参考訳（メタデータ） (2023-08-01T05:28:13Z)
• TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation [55.83319599681002]
  Text-VQAは、画像中のテキストの手がかりを理解する必要がある質問に答えることを目的としている。 画像のシーンコンテキストで利用可能な既存のリッチテキストを明示的に利用することにより,高品質で多様なQAペアを生成する方法を開発した。
  論文  参考訳（メタデータ） (2022-08-03T02:18:09Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Understanding the Role of Scene Graphs in Visual Question Answering [26.02889386248289]
  我々はGQAデータセット上で実験を行い、計数、構成性、高度な推論能力を必要とする質問の挑戦的なセットを示す。 我々は,シーングラフに使用する画像+質問アーキテクチャを採用し,未認識画像の様々なシーングラフ生成手法を評価し,人間の注釈と自動生成シーングラフを活用するためのトレーニングカリキュラムを提案する。 視覚質問応答におけるシーングラフの利用に関する多面的研究を行い,本研究を第一種とした。
  論文  参考訳（メタデータ） (2021-01-14T07:27:37Z)
• Multi-Modal Reasoning Graph for Scene-Text Based Fine-Grained Image Classification and Retrieval [8.317191999275536]
  本稿では,視覚的・テキスト的手がかりの形でマルチモーダルコンテンツを活用することで,微細な画像分類と検索の課題に取り組むことに焦点を当てる。 画像中の有意なオブジェクトとテキスト間の共通意味空間を学習することにより、マルチモーダル推論を行い、関係強化された特徴を得るためにグラフ畳み込みネットワークを用いる。
  論文  参考訳（メタデータ） (2020-09-21T12:31:42Z)
• Extracting Summary Knowledge Graphs from Long Documents [48.92130466606231]
  本稿では,長い文書から要約された知識グラフを予測する新しいテキスト・ツー・グラフタスクを提案する。 自動アノテーションと人文アノテーションを用いた200k文書/グラフペアのデータセットを開発する。
  論文  参考訳（メタデータ） (2020-09-19T04:37:33Z)
• Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text [93.08109196909763]
  我々は,新しいVQAアプローチであるMulti-Modal Graph Neural Network (MM-GNN)を提案する。 これはまず3つの部分グラフからなるグラフとして表現され、それぞれ視覚的、意味的、数値的な様相を描いている。 次に3つのアグリゲータを導入し、あるグラフから別のグラフへのメッセージ転送を誘導し、様々なモードでコンテキストを利用する。
  論文  参考訳（メタデータ） (2020-03-31T05:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。