論文の概要: Text, Pixels, or Both? Evaluating Input Representations for Multimodal Document QA

• arxiv url: http://arxiv.org/abs/2609.22628v1
• Date: Fri, 18 Sep 2026 22:26:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.88606
• Title: Text, Pixels, or Both? Evaluating Input Representations for Multimodal Document QA
• Title（参考訳）: テキスト, ピクセル, 両方? マルチモーダル文書QAにおける入力表現の評価
• Abstract要約: そこで本研究では,モデルページイメージや抽出されたテキスト,あるいはその両方をフィードするかどうかについて検討する。 画像予算に適合するドキュメントでは、ページイメージは、両方のコーパス上のすべてのドキュメント長の精度に導かれる。 WeExploit this complementarity, a lightweight TF-IDF router that read only the question text increases 2.6 points over always-text while cut median latency 30% relative to always-vision。
• 参考スコア（独自算出の注目度）: 40.07728581005034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Every document QA system begins with a choice that is rarely studied on its own: whether to feed the model page images, extracted text, or both. We isolate this choice, holding the prompt, judge, and scoring pipeline fixed, across four commercial model endpoints, two corpora, and two context regimes (gold evidence pages and the full document). On documents that fit the image budget, page images lead on accuracy at every document length on both corpora, but this advantage carries a growing latency and cost premium: text latency stays roughly flat as documents lengthen while image latency rises steadily. Text and images also fail on different questions, with exactly one representation correct on 19--25% of items across the reported cells, so neither subsumes the other. Exploiting this complementarity, a lightweight TF-IDF router that reads only the question text gains 2.6 points over always-text while cutting median latency 30% relative to always-vision, on a document-disjoint held-out split.
• Abstract（参考訳）: 全ての文書QAシステムは、モデルページイメージ、抽出されたテキスト、またはその両方をフィードするかどうかという、単独で研究されることの少ない選択から始まる。 この選択を分離し、プロンプト、判定、スコアリングパイプラインを固定し、4つの商用モデルエンドポイント、2つのコーパス、2つのコンテキスト(金のエビデンスページと全ドキュメント)を横断します。 画像予算に適合するドキュメントでは、ページイメージは、両方のコーパス上のすべてのドキュメント長で正確性につながるが、この利点は、レイテンシとコストの上昇をもたらす。 テキストと画像も異なる質問で失敗し、報告されたセル全体の19～25%の項目に対して正確に1つの表現が正しいため、どちらも他方を仮定しない。 TF-IDFルータは、質問テキストのみを読み込む軽量で、常にテキストで2.6ポイント獲得すると同時に、文書の切り離しで、常にビジョンに対して30%の遅延をカットする。

関連論文リスト

• Query-Driven Multimodal Information Extraction from Long Documents [6.155740787063792]
  本稿では,長い文書から問合せ駆動による画像-テキスト共同抽出を提案する。 ユーザ意図と文書の内容の両方に関わる課題に基づいて、2段階の分類を設計した。 私たちは、この新しいタスクのための最初の高品質で手動でアノテートされたベンチマークであるITJointを構築します。
  論文  参考訳（メタデータ） (2026-08-23T04:37:34Z)
• $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
  G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。 Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。 5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
  論文  参考訳（メタデータ） (2026-01-29T17:52:54Z)
• mPLUG-DocOwl2: High-resolution Compressing for OCR-free Multi-page Document Understanding [103.05835688963947]
  本稿では,高解像度文書画像を324個のトークンに圧縮する高解像度DocCompressorモジュールを提案する。 DocOwl2は、マルチページ文書理解ベンチマークにまたがる最先端の新たなベンチマークを設定し、最初のトークンレイテンシを50%以上削減する。 同様のデータで訓練されたシングルイメージMLLMと比較して、DocOwl2はビジュアルトークンの20%未満で、同等のシングルページ理解性能を実現しています。
  論文  参考訳（メタデータ） (2024-09-05T11:09:00Z)
• DUBLIN -- Document Understanding By Language-Image Network [37.42637168606938]
  3つの新しい目的を用いて,Webページ上で事前学習を行うDUBLINを提案する。 DUBLIN は WebSRC データセット上で 77.75 の EM と 84.25 の F1 を達成した最初のピクセルベースモデルであることを示す。 また、RVL-CDIP文書分類における競合性能も達成する。
  論文  参考訳（メタデータ） (2023-05-23T16:34:09Z)
• Multimodal C4: An Open, Billion-scale Corpus of Images Interleaved with Text [130.89493542553151]
  テキスト内ビジョンやFlamingoのような言語モデルは、任意のインターリーブされた画像とテキストのシーケンスを入力としてサポートする。 このインターフェースをサポートするために、インターリーブされた画像+テキストを含むウェブコーパス上でプレトレーニングが行われる。 画像がインターリーブされた人気テキスト専用C4コーパスの拡張であるMultimodal C4をリリースする。
  論文  参考訳（メタデータ） (2023-04-14T06:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。