論文の概要: LiGT: Layout-infused Generative Transformer for Visual Question Answering on Vietnamese Receipts

• arxiv url: http://arxiv.org/abs/2502.19202v2
• Date: Fri, 07 Mar 2025 16:11:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:22:33.200748
• Title: LiGT: Layout-infused Generative Transformer for Visual Question Answering on Vietnamese Receipts
• Title（参考訳）: LiGT:ベトナムの受信者に対する視覚的質問応答のためのレイアウト注入型生成変換器
• Authors: Thanh-Phong Le, Trung Le Chi Phan, Nghia Hieu Nguyen, Kiet Van Nguyen,
• Abstract要約: 本稿ではベトナムにおける大規模な文書VQAデータセットであるReceiptVQA(textbfReceipt textbfVisual textbfQuestion textbfAnswering)について述べる。 データセットには textbf9,000+ のレシートイメージと textbf60,000+ の注釈付き質問応答ペアが含まれている。
• 参考スコア（独自算出の注目度）: 0.964547614383472
• License:
• Abstract: Document Visual Question Answering (Document VQA) challenges multimodal systems to holistically handle textual, layout, and visual modalities to provide appropriate answers. Document VQA has gained popularity in recent years due to the increasing amount of documents and the high demand for digitization. Nonetheless, most of document VQA datasets are developed in high-resource languages such as English. In this paper, we present ReceiptVQA (\textbf{Receipt} \textbf{V}isual \textbf{Q}uestion \textbf{A}nswering), the initial large-scale document VQA dataset in Vietnamese dedicated to receipts, a document kind with high commercial potentials. The dataset encompasses \textbf{9,000+} receipt images and \textbf{60,000+} manually annotated question-answer pairs. In addition to our study, we introduce LiGT (\textbf{L}ayout-\textbf{i}nfused \textbf{G}enerative \textbf{T}ransformer), a layout-aware encoder-decoder architecture designed to leverage embedding layers of language models to operate layout embeddings, minimizing the use of additional neural modules. Experiments on ReceiptVQA show that our architecture yielded promising performance, achieving competitive results compared with outstanding baselines. Furthermore, throughout analyzing experimental results, we found evident patterns that employing encoder-only model architectures has considerable disadvantages in comparison to architectures that can generate answers. We also observed that it is necessary to combine multiple modalities to tackle our dataset, despite the critical role of semantic understanding from language models. We hope that our work will encourage and facilitate future development in Vietnamese document VQA, contributing to a diverse multimodal research community in the Vietnamese language.
• Abstract（参考訳）: Document Visual Question Answering (Document VQA) は、テキスト、レイアウト、視覚のモダリティを均等に扱い、適切な回答を提供するためにマルチモーダルシステムに挑戦する。 近年,文書量の増加とデジタル化の需要の高まりにより,文書VQAが普及している。 それでも、ほとんどの文書VQAデータセットは、英語などの高リソース言語で開発されている。 本稿では,ベトナムにおける大規模文書VQAデータセットであるReceiptVQA(\textbf{Receipt} \textbf{V}isual \textbf{Q}uestion \textbf{A}nswering)について述べる。 データセットは、 \textbf{9,000+}レシートイメージと、手動で注釈付き質問応答ペアを含む。 本稿では,LGT (\textbf{L}ayout-\textbf{i}nfused \textbf{G}enerative \textbf{T}ransformer) を導入する。 ReceiptVQAの実験により、我々のアーキテクチャは有望な性能を示し、卓越したベースラインと比較して競争的な結果を得た。 さらに, 実験結果の分析を通じて, エンコーダのみを用いたモデルアーキテクチャは, 解答を生成できるアーキテクチャと比較して, かなりの欠点があることが明らかとなった。 また、言語モデルからのセマンティック理解の重要な役割にもかかわらず、データセットに取り組むために複数のモダリティを組み合わせる必要があることも見いだした。 ベトナムの文書VQAにおける今後の開発を奨励し、促進し、ベトナム語における多様なマルチモーダル研究コミュニティに貢献することを願っている。

関連論文リスト

• GeAR: Generation Augmented Retrieval [82.20696567697016]
  文書検索技術は大規模情報システム開発の基礎となる。 一般的な手法は、バイエンコーダを構築し、セマンティックな類似性を計算することである。 我々は、よく設計された融合およびデコードモジュールを組み込んだ $textbfGe$neration という新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-06T05:29:00Z)
• MTVQA: Benchmarking Multilingual Text-Centric Visual Question Answering [58.92057773071854]
  MTVQAは、9つの異なる言語にまたがる高品質なヒューマンエキスパートアノテーションを特徴とする最初のベンチマークである。 MTVQAは9つの異なる言語にわたる高品質なヒューマンエキスパートアノテーションを特徴とする最初のベンチマークである。
  論文  参考訳（メタデータ） (2024-05-20T12:35:01Z)
• ViTextVQA: A Large-Scale Visual Question Answering Dataset for Evaluating Vietnamese Text Comprehension in Images [1.2529442734851663]
  ベトナムでは,画像に現れるテキストを理解する能力に特化して,最初の大規模データセットを導入する。 我々は、OCRテキスト中のトークンを処理し、回答を定式化するために選択する順序の重要性を明らかにする。
  論文  参考訳（メタデータ） (2024-04-16T15:28:30Z)
• ViCLEVR: A Visual Reasoning Dataset and Hybrid Multimodal Fusion Model for Visual Question Answering in Vietnamese [1.6340299456362617]
  ベトナムにおける様々な視覚的推論能力を評価するための先駆的な収集であるViCLEVRデータセットを紹介した。 我々は、現代の視覚的推論システムの包括的な分析を行い、その強みと限界についての貴重な洞察を提供する。 PhoVITは、質問に基づいて画像中のオブジェクトを識別する総合的なマルチモーダル融合である。
  論文  参考訳（メタデータ） (2023-10-27T10:44:50Z)
• PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale [53.92008514395125]
  PAXQA(クロスリンガル(x)QAのアノテーションの計画)は、クロスリンガルQAを2段階に分解する。 本稿では、並列ビットから制約されたエンティティを抽出する語彙制約機械翻訳の新たな利用法を提案する。 これらのデータセットに基づいて微調整されたモデルは、複数の抽出されたQAデータセット上で、先行合成データ生成モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-24T15:46:26Z)
• LoRaLay: A Multilingual and Multimodal Dataset for Long Range and Layout-Aware Summarization [19.301567079372436]
  テキスト要約は、自然言語処理コミュニティにとって人気のある課題であり、研究の活発な領域である。 すべての公開可能な要約データセットは、プレーンテキストコンテンツのみを提供する。 視覚/レイ情報を伴う長距離要約のためのデータセットのコレクションであるLoRaLayを提示する。
  論文  参考訳（メタデータ） (2023-01-26T18:50:54Z)
• TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation [55.83319599681002]
  Text-VQAは、画像中のテキストの手がかりを理解する必要がある質問に答えることを目的としている。 画像のシーンコンテキストで利用可能な既存のリッチテキストを明示的に利用することにより,高品質で多様なQAペアを生成する方法を開発した。
  論文  参考訳（メタデータ） (2022-08-03T02:18:09Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• BASS: Boosting Abstractive Summarization with Unified Semantic Graph [49.48925904426591]
  BASSは、統合されたセマンティックグラフに基づく抽象的な要約を促進するためのフレームワークである。 文書表現と要約生成の両方を改善するために,グラフベースのエンコーダデコーダモデルを提案する。 実験結果から,提案アーキテクチャは長期文書および複数文書要約タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-05-25T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。