論文の概要: Towards Signboard-Oriented Visual Question Answering: ViSignVQA Dataset, Method and Benchmark

• arxiv url: http://arxiv.org/abs/2512.22218v1
• Date: Mon, 22 Dec 2025 13:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:29.899952
• Title: Towards Signboard-Oriented Visual Question Answering: ViSignVQA Dataset, Method and Benchmark
• Title（参考訳）: ViSignVQAデータセット, 方法, ベンチマーク
• Authors: Hieu Minh Nguyen, Tam Le-Thanh Dang, Kiet Van Nguyen,
• Abstract要約: ViSignVQAは、サインボード指向のVQA用に設計されたベトナム初の大規模データセットである。 このデータセットはベトナムの看板の多様な言語的、文化的、視覚的な特徴を捉えている。
• 参考スコア（独自算出の注目度）: 5.3220011447194215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding signboard text in natural scenes is essential for real-world applications of Visual Question Answering (VQA), yet remains underexplored, particularly in low-resource languages. We introduce ViSignVQA, the first large-scale Vietnamese dataset designed for signboard-oriented VQA, which comprises 10,762 images and 25,573 question-answer pairs. The dataset captures the diverse linguistic, cultural, and visual characteristics of Vietnamese signboards, including bilingual text, informal phrasing, and visual elements such as color and layout. To benchmark this task, we adapted state-of-the-art VQA models (e.g., BLIP-2, LaTr, PreSTU, and SaL) by integrating a Vietnamese OCR model (SwinTextSpotter) and a Vietnamese pretrained language model (ViT5). The experimental results highlight the significant role of the OCR-enhanced context, with F1-score improvements of up to 209% when the OCR text is appended to questions. Additionally, we propose a multi-agent VQA framework combining perception and reasoning agents with GPT-4, achieving 75.98% accuracy via majority voting. Our study presents the first large-scale multimodal dataset for Vietnamese signboard understanding. This underscores the importance of domain-specific resources in enhancing text-based VQA for low-resource languages. ViSignVQA serves as a benchmark capturing real-world scene text characteristics and supporting the development and evaluation of OCR-integrated VQA models in Vietnamese.
• Abstract（参考訳）: VQA(Visual Question Answering)の現実的な応用には,自然な場面で手書き文字を理解することが不可欠である。 10,762枚の画像と25,573枚の質問応答対からなる,看板指向VQA用に設計されたベトナム初の大規模データセットであるViSignVQAを紹介する。 このデータセットは、バイリンガルテキスト、非公式なフレーズ、色やレイアウトなどの視覚要素を含む、ベトナムの看板の多様な言語的、文化的、視覚的な特徴を捉えている。 このタスクをベンチマークするために、ベトナムのOCRモデル(SwinTextSpotter)とベトナムの事前訓練言語モデル(ViT5)を統合することにより、最先端のVQAモデル(BLIP-2、LaTr、PreSTU、SaL)を適用した。 実験結果は、OCRテキストが質問に付加されると、F1スコアが最大209%向上する、OCR強化コンテキストの重要な役割を強調した。 さらに,認識と推論エージェントをGPT-4と組み合わせたマルチエージェントVQAフレームワークを提案し,多数決によって75.98%の精度を達成した。 本研究はベトナムの看板理解のための大規模なマルチモーダルデータセットである。 このことは、低リソース言語に対するテキストベースのVQAを強化する上で、ドメイン固有のリソースの重要性を浮き彫りにしている。 ViSignVQAは、実世界のシーンテキストの特徴を抽出し、ベトナムにおけるOCR統合VQAモデルの開発と評価を支援するベンチマークとして機能する。

関連論文リスト

• KRETA: A Benchmark for Korean Reading and Reasoning in Text-Rich VQA Attuned to Diverse Visual Contexts [5.689962668710347]
  KRETA (KRETA) は、様々な視覚的コンテキストに適応したテキストリッチVQAにおける韓国の読み書きとrEasoningのベンチマークである。 KRETAは、多面的評価をサポートしながら、視覚的テキスト理解と推論能力の両方の詳細な評価を容易にする。 テキストリッチな設定に最適化された半自動VQA生成パイプラインを導入する。
  論文  参考訳（メタデータ） (2025-08-27T15:01:02Z)
• Dataset and Benchmark for Urdu Natural Scenes Text Detection, Recognition and Visual Question Answering [50.52792174648067]
  このイニシアチブは、テキストと視覚的理解のギャップを埋めようとしている。 そこで本研究では,1000以上の自然シーン画像からなるマルチタスクUrduシーンテキストデータセットを提案する。 テキストインスタンスの細かいアノテーションを提供し、以前のデータセットの制限に対処します。
  論文  参考訳（メタデータ） (2024-05-21T06:48:26Z)
• MTVQA: Benchmarking Multilingual Text-Centric Visual Question Answering [57.30218240464696]
  MTVQAは、9つの異なる言語にまたがる高品質なヒューマンエキスパートアノテーションを特徴とする最初のベンチマークである。 MTVQAは9つの異なる言語にわたる高品質なヒューマンエキスパートアノテーションを特徴とする最初のベンチマークである。
  論文  参考訳（メタデータ） (2024-05-20T12:35:01Z)
• ViOCRVQA: Novel Benchmark Dataset and Vision Reader for Visual Question Answering by Understanding Vietnamese Text in Images [1.2529442734851663]
  28,000以上の画像と12000以上の質問応答対からなる新しいデータセットViOCRVQA(Vietnamese Optical Character Recognition - Visual Question Answering dataset)を導入する。 このデータセットでは、すべての画像は、画像内のテキストに関連する情報に関するテキストと質問を含む。 ベトナムのデータセットに固有の課題と難しさを明らかにするため、我々のデータセットで実験を行うために英語が提案した最先端の手法のアイデアをデプロイする。
  論文  参考訳（メタデータ） (2024-04-29T03:17:47Z)
• ViTextVQA: A Large-Scale Visual Question Answering Dataset for Evaluating Vietnamese Text Comprehension in Images [1.2529442734851663]
  VQA(Visual Question Answerinng)は、自然言語と画像を同時に処理する能力を必要とする複雑なタスクである。 本稿では,シーンテキストの理解を専門とするベトナム初の大規模データセットについて紹介する。
  論文  参考訳（メタデータ） (2024-04-16T15:28:30Z)
• TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document [60.01330653769726]
  テキスト中心タスクに適した大規模マルチモーダルモデル(LMM)であるTextMonkeyを提案する。 ゼロ初期化によるシフトウィンドウアテンションの導入により、高い入力解像度でクロスウィンドウ接続を実現する。 テキストスポッティングとグラウンド化を包含する能力を拡張し、位置情報を応答に組み込むことで、解釈可能性を高める。
  論文  参考訳（メタデータ） (2024-03-07T13:16:24Z)
• VlogQA: Task, Dataset, and Baseline Models for Vietnamese Spoken-Based Machine Reading Comprehension [1.3942150186842373]
  本稿では,機械読解作業のためのベトナム語音声コーパスの開発過程について述べる。 ベトナムの既存のMRCコーポラは主にウィキペディアの記事、オンライン新聞、教科書などの公式文書に焦点を当てている。 対照的に、VlogQAはYouTubeからソースされた1,230の文書に基づいて10,076の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2024-02-05T00:54:40Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation [55.83319599681002]
  Text-VQAは、画像中のテキストの手がかりを理解する必要がある質問に答えることを目的としている。 画像のシーンコンテキストで利用可能な既存のリッチテキストを明示的に利用することにより,高品質で多様なQAペアを生成する方法を開発した。
  論文  参考訳（メタデータ） (2022-08-03T02:18:09Z)
• TAP: Text-Aware Pre-training for Text-VQA and Text-Caption [75.44716665758415]
  テキストVQAとテキストキャプションタスクのためのテキスト認識事前学習(TAP)を提案する。 TAPは、事前トレーニングにシーンテキスト(OCRエンジンから生成される)を明示的に組み込む。 我々のアプローチは、複数のタスクで大きな利幅で芸術の状態を上回っている。
  論文  参考訳（メタデータ） (2020-12-08T18:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。