論文の概要: Towards Signboard-Oriented Visual Question Answering: ViSignVQA Dataset, Method and Benchmark

• arxiv url: http://arxiv.org/abs/2512.22218v1
• Date: Mon, 22 Dec 2025 13:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:29.899952
• Title: Towards Signboard-Oriented Visual Question Answering: ViSignVQA Dataset, Method and Benchmark
• Title（参考訳）: ViSignVQAデータセット, 方法, ベンチマーク
• Authors: Hieu Minh Nguyen, Tam Le-Thanh Dang, Kiet Van Nguyen,
• Abstract要約: ViSignVQAは、サインボード指向のVQA用に設計されたベトナム初の大規模データセットである。 このデータセットはベトナムの看板の多様な言語的、文化的、視覚的な特徴を捉えている。
• 参考スコア（独自算出の注目度）: 5.3220011447194215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding signboard text in natural scenes is essential for real-world applications of Visual Question Answering (VQA), yet remains underexplored, particularly in low-resource languages. We introduce ViSignVQA, the first large-scale Vietnamese dataset designed for signboard-oriented VQA, which comprises 10,762 images and 25,573 question-answer pairs. The dataset captures the diverse linguistic, cultural, and visual characteristics of Vietnamese signboards, including bilingual text, informal phrasing, and visual elements such as color and layout. To benchmark this task, we adapted state-of-the-art VQA models (e.g., BLIP-2, LaTr, PreSTU, and SaL) by integrating a Vietnamese OCR model (SwinTextSpotter) and a Vietnamese pretrained language model (ViT5). The experimental results highlight the significant role of the OCR-enhanced context, with F1-score improvements of up to 209% when the OCR text is appended to questions. Additionally, we propose a multi-agent VQA framework combining perception and reasoning agents with GPT-4, achieving 75.98% accuracy via majority voting. Our study presents the first large-scale multimodal dataset for Vietnamese signboard understanding. This underscores the importance of domain-specific resources in enhancing text-based VQA for low-resource languages. ViSignVQA serves as a benchmark capturing real-world scene text characteristics and supporting the development and evaluation of OCR-integrated VQA models in Vietnamese.
• Abstract（参考訳）: VQA(Visual Question Answering)の現実的な応用には,自然な場面で手書き文字を理解することが不可欠である。 10,762枚の画像と25,573枚の質問応答対からなる,看板指向VQA用に設計されたベトナム初の大規模データセットであるViSignVQAを紹介する。 このデータセットは、バイリンガルテキスト、非公式なフレーズ、色やレイアウトなどの視覚要素を含む、ベトナムの看板の多様な言語的、文化的、視覚的な特徴を捉えている。 このタスクをベンチマークするために、ベトナムのOCRモデル(SwinTextSpotter)とベトナムの事前訓練言語モデル(ViT5)を統合することにより、最先端のVQAモデル(BLIP-2、LaTr、PreSTU、SaL)を適用した。 実験結果は、OCRテキストが質問に付加されると、F1スコアが最大209%向上する、OCR強化コンテキストの重要な役割を強調した。 さらに,認識と推論エージェントをGPT-4と組み合わせたマルチエージェントVQAフレームワークを提案し,多数決によって75.98%の精度を達成した。 本研究はベトナムの看板理解のための大規模なマルチモーダルデータセットである。 このことは、低リソース言語に対するテキストベースのVQAを強化する上で、ドメイン固有のリソースの重要性を浮き彫りにしている。 ViSignVQAは、実世界のシーンテキストの特徴を抽出し、ベトナムにおけるOCR統合VQAモデルの開発と評価を支援するベンチマークとして機能する。

関連論文リスト

• MTVQA: Benchmarking Multilingual Text-Centric Visual Question Answering [57.30218240464696]
  MTVQAは、9つの異なる言語にまたがる高品質なヒューマンエキスパートアノテーションを特徴とする最初のベンチマークである。 MTVQAは9つの異なる言語にわたる高品質なヒューマンエキスパートアノテーションを特徴とする最初のベンチマークである。
  論文  参考訳（メタデータ） (2024-05-20T12:35:01Z)
• ViOCRVQA: Novel Benchmark Dataset and Vision Reader for Visual Question Answering by Understanding Vietnamese Text in Images [1.2529442734851663]
  28,000以上の画像と12000以上の質問応答対からなる新しいデータセットViOCRVQA(Vietnamese Optical Character Recognition - Visual Question Answering dataset)を導入する。 このデータセットでは、すべての画像は、画像内のテキストに関連する情報に関するテキストと質問を含む。 ベトナムのデータセットに固有の課題と難しさを明らかにするため、我々のデータセットで実験を行うために英語が提案した最先端の手法のアイデアをデプロイする。
  論文  参考訳（メタデータ） (2024-04-29T03:17:47Z)
• ViTextVQA: A Large-Scale Visual Question Answering Dataset for Evaluating Vietnamese Text Comprehension in Images [1.2529442734851663]
  VQA(Visual Question Answerinng)は、自然言語と画像を同時に処理する能力を必要とする複雑なタスクである。 本稿では,シーンテキストの理解を専門とするベトナム初の大規模データセットについて紹介する。
  論文  参考訳（メタデータ） (2024-04-16T15:28:30Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。