論文の概要: Comparative Study of Domain-adapted VLMs for General Document Visual Question Answering

• arxiv url: http://arxiv.org/abs/2607.07179v1
• Date: Wed, 08 Jul 2026 09:13:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.339782
• Title: Comparative Study of Domain-adapted VLMs for General Document Visual Question Answering
• Title（参考訳）: 汎用ビジュアル質問応答のための領域適応型VLMの比較検討
• Abstract要約: Document Visual Question Answering (DocVQA)は複雑なマルチモーダルチャレンジを提供する。 VLM(Vision-Language Models)は、テキストビジョンタスクにおいて顕著なパフォーマンスを示している。 本稿では,DocVQA上の8つのオープンソース事前学習VLMを3つの文書領域で総合的に評価する。
• 参考スコア（独自算出の注目度）: 14.473567450006868
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Document Visual Question Answering (DocVQA) presents a complex multimodal challenge, requiring models to exploit visual, textual, and layout information from documents. Although Vision-Language Models (VLMs) have shown remarkable performance in text-vision tasks, their robustness and transferability to different document domains remains underexplored. In this study, we present a comprehensive evaluation of 8 open-source pretrained VLMs on DocVQA in three different document domains: industrial documents of varying type, infographics, and presentation slides. We systematically assess model performance under zero-shot evaluations, fully supervised finetuning with inter- and intra-dataset evaluations, and few-shot learning evaluations of knowledge transfer between domains. Our findings demonstrate that while large pretrained VLMs possess strong zero-shot baselines for structured layouts, their performance strongly decreases on visually complex layouts of infographics and slides. Although parameter scaling is a dominant factor on performance, supervised finetuning yields higher relative gains in smaller architectures. Furthermore, our cross-domain and few-shot experiments show that visual understanding is the main bottleneck for DocVQA, not a lack of knowledge from the VLMs. Using 50 target domain samples, the models finetuned in DocVQA with datasets of different domains rapidly adapt to the target domain documents, even surpassing their fully supervised counterparts in some cases.
• Abstract（参考訳）: Document Visual Question Answering (DocVQA)は、複雑なマルチモーダルな課題を提示し、ドキュメントから視覚的、テキスト的、レイアウト情報を利用するモデルを必要とする。 Vision-Language Models (VLM) はテキストビジョンタスクにおいて顕著な性能を示したが、その堅牢性やドキュメントドメインへの転送性については未検討のままである。 本研究では,DocVQA上の8つのオープンソース事前学習VLMを,異なるタイプの産業文書,インフォグラフィック,プレゼンテーションスライドの3つの異なる文書領域で総合的に評価する。 我々は,ゼロショット評価下でのモデル性能を体系的に評価し,データ間およびデータ間評価による完全教師付き微調整,ドメイン間の知識伝達の少ない学習評価を行った。 以上の結果から,大規模な事前学習VLMは構造化レイアウトに対して強いゼロショットベースラインを持つが,その性能はインフォグラフィックやスライドの視覚的に複雑なレイアウトに対して強く低下することがわかった。 パラメータスケーリングは性能において重要な要素であるが、教師付き微調整はより小さなアーキテクチャでは高い相対的な利得をもたらす。 さらに、我々のクロスドメインおよび少数ショット実験は、視覚的理解がVLMからの知識の欠如ではなく、DocVQAの主要なボトルネックであることを示している。 50のターゲットドメインサンプルを使用して、モデルがDocVQAで微調整され、異なるドメインのデータセットがターゲットドメインドキュメントに迅速に適応する。

関連論文リスト

• FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios [58.34124792457706]
  製造業セクターは、単純な認識から自律的な実行に移行するために、MLLM(Multimodal Large Language Models)をますます採用している。 進捗は、データの不足と、既存のデータセットにおけるきめ細かいドメインセマンティクスの欠如によって妨げられている。 まず、実世界の2D画像と3Dポイントクラウドを組み合わせて、微粒なドメインセマンティクスを付加した高品質なデータセットを構築します。 次に, 3 つの製造課題,すなわち, 構造面検査, 組立検査, 組立検証の18の最先端MLLMを評価し, 大幅な性能差を明らかにした。
  論文  参考訳（メタデータ） (2026-04-08T12:23:27Z)
• How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing [56.60465182650588]
  我々は,3段階の相互作用階層を導入し,決定的接地,形態的操作,因果推論を捉える。 本稿では,スケーラブルできめ細かい評価を実現するために,タスク固有のメトリクスを備えた堅牢なLMM-as-a-judge評価フレームワークを提案する。 プロプライエタリなモデルは早期の視覚指示追従能力を示し、一貫してオープンソースモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-02-02T09:24:45Z)
• Assessing the Visual Enumeration Abilities of Specialized Counting Architectures and Vision-Language Models [5.310444614342132]
  マルチモーダル視覚言語モデル(VLM)は、オープンセットオブジェクトカウントの柔軟な代替手段を提供する。 VLMは、視覚的なシーンにおけるアイテムの数を概算したり、特別なコンピュータビジョンアーキテクチャの性能にマッチしたり、超えたりすることができる。 いずれのモデルも、複雑な視覚シーンにおけるオブジェクトの数を確実にカウントすることはできない。
  論文  参考訳（メタデータ） (2025-12-17T09:56:25Z)
• Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
  文書理解は、財務分析から科学的発見への応用に不可欠である。 現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
  論文  参考訳（メタデータ） (2025-10-17T02:33:16Z)
• RAG-IGBench: Innovative Evaluation for RAG-based Interleaved Generation in Open-domain Question Answering [50.42577862494645]
  本稿では,RAG-IG(Retrieval-Augmented Generation)に基づくインターリーブドジェネレーション(Interleaved Generation)の課題を評価するためのベンチマークであるRAG-IGBenchを提案する。 RAG-IGは、MLLM(Multimodal large language model)と検索機構を統合し、モデルがコヒーレントなマルチモーダルコンテンツを生成するための外部画像テキスト情報にアクセスできるようにする。
  論文  参考訳（メタデータ） (2025-10-11T03:06:39Z)
• Evaluating the Robustness of Open-Source Vision-Language Models to Domain Shift in Object Captioning [4.180203626942459]
  VLM(Vision-Language Models)は、視覚データからテキスト記述を生成する強力なツールとして登場した。 本稿では,単視点オブジェクトキャプションタスクにおけるVLM性能の体系的評価について述べる。 我々は,2つの異なるオブジェクトセットのキャプション精度を比較した。複数の素材,現実世界のツールの集合と,1つの素材,3Dプリントされたアイテムの集合である。
  論文  参考訳（メタデータ） (2025-06-24T12:45:09Z)
• QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
  トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。 視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
  論文  参考訳（メタデータ） (2025-04-03T18:47:16Z)
• How to Determine the Preferred Image Distribution of a Black-Box Vision-Language Model? [2.3993515715868714]
  本稿では,視覚言語モデル(VLM)に好適な画像分布を特定するための,新しい一般化可能な手法を提案する。 これを異なる3次元オブジェクトのレンダリングタイプに適用することにより、複雑な構造の正確な解釈を必要とする様々な領域で有効性を示す。 特殊なドメインにおけるベンチマークの欠如を解決するために,CAD関連視覚質問応答タスク上でVLMを評価するための新しいデータセットであるCAD-VQAを導入する。
  論文  参考訳（メタデータ） (2024-09-03T19:26:13Z)
• On Task-personalized Multimodal Few-shot Learning for Visually-rich Document Entity Retrieval [59.25292920967197]
  VDER(Few-shot document entity search)は、NLPアプリケーションにおいて重要なトピックである。 FewVEXは、エンティティレベルの少数ショットVDERの分野における将来の研究を促進するための、新しいデータセットである。 本稿では,タスクパーソナライズを効果的に実現することを中心に,タスク認識型メタラーニングベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-01T17:51:43Z)
• GVdoc: Graph-based Visual Document Classification [17.350393956461783]
  グラフに基づく文書分類モデルであるGVdocを提案する。 提案手法では,そのレイアウトに基づいて文書グラフを生成し,グラフニューラルネットワークを用いてノードとグラフの埋め込みを学習する。 パラメータが少なくても、我々のモデルは分布外データ上で最先端のモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-26T19:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。