論文の概要: CHaystack: Benchmarking Chinese Document Retrieval and VQA

• arxiv url: http://arxiv.org/abs/2607.24760v1
• Date: Sat, 30 May 2026 06:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:39.040611
• Title: CHaystack: Benchmarking Chinese Document Retrieval and VQA
• Title（参考訳）: CHaystack: 中国のドキュメント検索とVQAのベンチマーク
• Abstract要約: 大規模文書検索と質問応答のための中国のDocumentVQAベンチマークであるChaystackを紹介する。 CHaystackは学術論文、広告、ウェブページ、現実世界の写真ドキュメントの4つのカテゴリをカバーしている。 本稿では,VLMに基づく関連度フィルタを用いた中国語文書VQAシステムCRAGについて述べる。
• 参考スコア（独自算出の注目度）: 0.998362415939221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) has made substantial progress in extending the memory of large language models (LLMs), and recent advances have further pushed RAG from pure text settings toward multimodal scenarios. In the document understanding domain, document visual question answering (DocumentVQA) has evolved from question answering over a single document to retrieval-and-generation pipelines over large-scale document collections. However, a benchmark specifically designed for Chinese large-scale document retrieval and question answering is still lacking. To bridge this gap, we introduce CHaystack, a new Chinese DocumentVQA benchmark that covers four document categories, namely academic papers, advertisements, web pages, and real-world photographed documents, enabling a more comprehensive evaluation of DocumentVQA systems. In addition, we present CDocRAG, a Chinese DocumentVQA system that uses a VLM-based relevance filter to verify retrieved document images before answer generation. We evaluate representative open-source embedding and generation models on CHaystack. The results reveal a clear contrast in category-wise strengths: Qwen-family models perform best on text-rich documents such as webpages and papers, whereas other models only achieve competitive results on visually rich categories such as advertisements and degrade sharply on text-dense documents. For retrieval, Qwen3-VL reaches 71.91 Recall@1 while the best non-Qwen model achieves only 14.40. These results indicate that the core challenge of CHaystack lies in Chinese textual encoding, and that Chinese large-scale DocumentVQA still leaves substantial room for improvement. Our code and dateset is available at https://github.com/hanxi19/CHaystack.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)のメモリ拡張に大きく進歩し、最近の進歩により、RAGは純粋なテキスト設定からマルチモーダルシナリオへとさらに前進した。 文書理解領域では、文書視覚的質問応答(DocumentVQA)は、単一の文書に対する質問応答から、大規模文書コレクション上の検索・生成パイプラインへと進化してきた。 しかし,中国の大規模文書検索と質問応答のためのベンチマークはいまだに不足している。 このギャップを埋めるために,我々は,学術論文,広告,Webページ,実世界の写真ドキュメントという4つのドキュメントカテゴリをカバーする,新しいDocumentVQAベンチマークであるChaaystackを紹介し,DocumentVQAシステムのより包括的な評価を可能にする。 さらに,VLMに基づく関連度フィルタを用いた中国語文書VQAシステムであるCDocRAGを用いて,回答生成前に検索した文書画像の検証を行う。 そこで我々は,Chaaystack上でのオープンソース埋め込みおよび生成モデルの評価を行った。 ウェブページや論文などのテキストに富んだ文書ではQwenファミリーモデルが最も優れており、他のモデルでは広告などの視覚的に豊かなカテゴリでは競争力のある結果しか得られず、テキストセンスの文書では急激に劣化している。 Qwen3-VL は 71.91 Recall@1 に達し、最良の非 Qwen モデルは 14.40 である。 これらの結果は、チャイシュタックの中核的な課題は中国語のテキストエンコーディングにあり、中国の大規模なDocumentVQAは依然として改善の余地を残していることを示している。 私たちのコードと日付はhttps://github.com/hanxi19/CHaystack.comで公開されています。

関連論文リスト

• MonkeyOCRv2: A Visual-Text Foundation Model for Document AI [71.06391669976786]
  MonkeyOCRv2は、ドキュメントAIのためのビジュアルテキスト事前トレーニングモデルである。 MonkeyDoc v2は17言語にまたがる1億1300万のイメージからなる、最大規模のドキュメントイメージ事前トレーニングコーパスである。
  論文  参考訳（メタデータ） (2026-07-13T13:43:39Z)
• Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
  DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。 LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。 12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
  論文  参考訳（メタデータ） (2026-06-17T07:44:04Z)
• Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
  複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。 我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
  論文  参考訳（メタデータ） (2026-04-15T11:12:27Z)
• Enhancing Document VQA Models via Retrieval-Augmented Generation [1.6769365072542683]
  ドキュメントVQAは数十ページに及ぶドキュメントに対処しなければならないが、主要なシステムは依然として非常に大きな視覚言語モデルに依存している。 Retrieval-Augmented Generation (RAG) は魅力的な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-08-26T12:32:55Z)
• VDocRAG: Retrieval-Augmented Generation over Visually-Rich Documents [30.012487475552575]
  本稿では,新たなRAGフレームワークであるVDocRAGを導入し,様々な文書やモダリティを統一された画像形式で直接理解する。 また、OpenDocVQAは、オープンドメイン文書の視覚的質問応答データセットを統合化した最初のコレクションである。
  論文  参考訳（メタデータ） (2025-04-14T01:50:33Z)
• LiGT: Layout-infused Generative Transformer for Visual Question Answering on Vietnamese Receipts [0.964547614383472]
  本稿ではベトナムにおける大規模な文書VQAデータセットであるReceiptVQA(textbfReceipt textbfVisual textbfQuestion textbfAnswering)について述べる。 データセットには textbf9,000+ のレシートイメージと textbf60,000+ の注釈付き質問応答ペアが含まれている。
  論文  参考訳（メタデータ） (2025-02-26T15:09:28Z)
• ColPali: Efficient Document Retrieval with Vision Language Models [15.369861972085136]
  我々は、複数のドメイン、言語、実用的な設定にまたがる様々なページレベルの検索タスクからなるVisual Document Retrieval Benchmark ViDoReを紹介する。 現代のシステムの本質的な複雑さと性能上の欠点は、ドキュメントページのイメージを直接埋め込むことで文書検索を行うという新しい概念を動機付けている。 文書ページの画像から高品質なマルチベクトル埋め込みを生成するために訓練されたビジョン言語モデルColPaliをリリースする。
  論文  参考訳（メタデータ） (2024-06-27T15:45:29Z)
• PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
  構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
  論文  参考訳（メタデータ） (2023-09-16T04:29:05Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。