論文の概要: Beyond OCR Accuracy: Text-Centric VQA Under Image Degradation with Modular and End-to-End
- arxiv url: http://arxiv.org/abs/2609.13815v1
- Date: Sat, 12 Sep 2026 08:57:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.560171
- Title: Beyond OCR Accuracy: Text-Centric VQA Under Image Degradation with Modular and End-to-End
- Title（参考訳）: OCRの精度を超える: 画像劣化下でのテキスト中心VQA
- Abstract要約: テキスト中心のVisual Question Answering (VQA)は、画像に埋め込まれたテキストを読み書きする必要がある。
モジュール型OCRベースのパイプラインとエンドツーエンドのビジョン言語モデルはどちらもこのタスクに広く使用されているが、劣化した条件下での比較ロバスト性は未解明のままである。
本稿では、ResNet-18と自己アテンション空間モデリングと変形可能な畳み込みを組み合わせた独自の検出器アーキテクチャであるSA-DBNetと2つのモジュールパイプラインを比較した実証的研究を行う。
- 参考スコア（独自算出の注目度）: 5.790885750156007
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Text-centric Visual Question Answering (VQA) requires reading and reasoning over text embedded in images, a task made substantially harder when images suffer from real-world degradation such as motion blur, low resolution, or compression artifacts. While modular OCR-based pipelines and end-to-end vision-language models are both widely used for this task, their comparative robustness under degraded conditions remains underexplored. We present an empirical study comparing two modular pipelines with SA-DBNet, a custom detector architecture combining ResNet-18 with self-attention spatial modeling and deformable convolutions against an end-to-end vision-language baseline, evaluated on 4013 degraded images with 7000 question-answer pairs. Fine-tuned modular pipelines achieve up to 57.50% exact-match accuracy versus 38.00% for the end-to-end baseline, with domain-specific fine-tuning yielding a gain of up to 29.50 percentage points. Critically, we find that conventional OCR error metrics like Character Error Rate and Word Error Rate are unreliable predictors of downstream VQA performance, as semantic reasoning can compensate for recognition failures when contextual cues are present. These findings highlight the importance of task-aware evaluation for text-centric VQA systems under realistic visual conditions. Codes are available here
- Abstract（参考訳）: テキスト中心のVisual Question Answering (VQA)は、画像に埋め込まれたテキストを読み書きする必要がある。
モジュール型OCRベースのパイプラインとエンドツーエンドのビジョン言語モデルはどちらもこのタスクに広く使用されているが、劣化した条件下での比較ロバスト性は未解明のままである。
本稿では、2つのモジュールパイプラインとSA-DBNetを比較し、ResNet-18と自己アテンション空間モデリングを組み合わせたカスタムディテクターアーキテクチャと、エンドツーエンドの視覚言語ベースラインに対する変形可能な畳み込みを比較し、4000の質問応答対を持つ4013の劣化画像で評価する。
細調整されたモジュラーパイプラインは57.50%の精度で、エンドツーエンドのベースラインでは38.00%、ドメイン固有の微調整は29.50ポイントまで上昇する。
重要な点として,文字誤り率や単語誤り率といった従来のOCR誤差指標は,文脈的手がかりが存在する場合の認識障害を意味的推論によって補うことができるため,下流VQA性能の信頼できない予測因子であることがわかった。
これらの結果は,現実的な視覚条件下でのテキスト中心型VQAシステムにおけるタスク認識評価の重要性を強調した。
コードはここにある。
関連論文リスト
- Human-Grounded Calibration for Long-Text Image-Text Congruence in Vision-Language Models [46.28810845443601]
長文画像-テキストの一致スコアリングは、視覚言語システムにとってますます重要になっている。
本稿では,画像-テキスト類似性証拠を有界スコアにマッピングする軽量キャリブレーション層である Congruency Score (CS) を提案する。
論文 参考訳（メタデータ） (2026-09-14T14:26:53Z) - Beyond Blind Compliance: Benchmarking Task Verification in OCR Reasoning [23.222077284906618]
既存の評価では、すべてのタスクが有効で応答可能であると仮定するが、現実世界のOCRシナリオでは、この仮定はしばしば失敗する。
このベンチマークは、8つのOCR関連データセットから作成され、8つの実世界の画像ドメインにまたがる。
Visual Atomic Fact (VAF) アンコールされたパイプラインとフルヒューマン監査によって構築されたVeriOCRBenchは、タスク検証、根本原因診断、過剰拒否の分離された評価を可能にする。
論文 参考訳（メタデータ） (2026-08-31T18:39:46Z) - Visual Distortion Detection in UGC Images Using Large Multimodal Models [40.6196464667839]
我々は,大規模言語モデル(LLM)アーキテクチャを利用して,正確な視覚的歪み検出を行うtextbftextitVIGILを提案する。
我々のモデルは、ドメイン内合成歪み検出とtextitS2A タスクの両方において、強いベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-08-10T05:00:12Z) - When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。
6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。
本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
論文 参考訳（メタデータ） (2026-08-05T11:46:15Z) - Decoupling semantics from vision: A framework for faithful visual-text compression evaluation [5.942515516844501]
VTCの品質を忠実に評価するMLLMの能力を分離する新たな評価フレームワークを導入する。
テキスト依存をなくすことで,評価結果がVTCの品質を純粋に反映していることが保証される。
論文 参考訳（メタデータ） (2026-08-03T07:56:43Z) - Where, What, Why, and Importance: Structured Defect Grounding for Text-to-Image Feedback [51.08692072066352]
テキスト・トゥ・イメージ(T2I)モデルは依然として局所的で微妙で構造的に複雑な失敗を示す。
構造的欠陥接地は, 各欠陥を位置, タイプ, 理由, 重要性としてモデル化し, 構造的集合予測としてT2Iの診断を行う。
我々の検出器は、構造欠陥接地におけるプロプライエタリなVLMよりも優れています。
論文 参考訳（メタデータ） (2026-06-04T13:03:16Z) - Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs [23.958966900531692]
MLLM(Multimodal large language model)は、画像として表示されるテキストを処理できるが、同じコンテンツがテキストトークンとして提供される場合よりも処理が悪くなることが多い。
我々は,この「モダリティギャップ」を7つのベンチマークを5つの入力モードで評価することにより,系統的に診断する。
論文 参考訳（メタデータ） (2026-03-10T02:14:23Z) - Interleaved Scene Graphs for Interleaved Text-and-Image Generation Assessment [53.45813302866466]
我々は、インターリーブされたテキスト・画像生成のための総合的な評価フレームワークISGを提案する。
ISGは、全体性、構造性、ブロックレベル、画像固有性の4つのレベルで反応を評価する。
ISGと組み合わせて、ISG-Benchというベンチマークを導入し、8つのカテゴリと21のサブカテゴリにわたる1,150のサンプルを網羅した。
論文 参考訳（メタデータ） (2024-11-26T07:55:57Z) - UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。
UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
論文 参考訳（メタデータ） (2023-01-16T08:43:17Z) - Learning to Decompose Visual Features with Latent Textual Prompts [140.2117637223449]
視覚言語モデルを改善するために,Decomposed Feature Prompting (DeFo)を提案する。
我々の実証研究は、視覚言語モデルを改善する上でDeFoが重要であることを示している。
論文 参考訳（メタデータ） (2022-10-09T15:40:13Z) - Towards Escaping from Language Bias and OCR Error: Semantics-Centered
Text Visual Question Answering [14.010472385359163]
シーンイメージのテキストは、シーン理解と推論のための重要な情報を伝える。
現在のTextVQAモデルはテキスト中心ではなく、いくつかの制限に悩まされている。
本稿では,インスタンスレベルのコントラスト型セマンティックな予測モジュールとセマンティックス中心のトランスフォーマーモジュールからなるセマンティックス中心ネットワーク(SC-Net)を提案する。
論文 参考訳（メタデータ） (2022-03-24T08:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。