論文の概要: Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG

• arxiv url: http://arxiv.org/abs/2603.04238v1
• Date: Wed, 04 Mar 2026 16:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.395901
• Title: Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG
• Title（参考訳）: 検索か表現か?多言語・視覚リッチRAGにおけるベンチマークギャップの再評価
• Authors: Martin Asenov, Kenza Benkirane, Dan Goldwater, Aneiss Ghodsi,
• Abstract要約: BM25の文書は、コーパスレベルの重み付けと重なり合う。 大規模なクエリドキュメントデータセットでトレーニングされたエンドツーエンドのマルチモーダルレトリバーは、これらのアプローチよりも大幅に改善されている。 より優れたドキュメント表現がベンチマーク改善の原動力であることを実証する。
• 参考スコア（独自算出の注目度）: 1.4425299138308667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) is a common way to ground language models in external documents and up-to-date information. Classical retrieval systems relied on lexical methods such as BM25, which rank documents by term overlap with corpus-level weighting. End-to-end multimodal retrievers trained on large query-document datasets claim substantial improvements over these approaches, especially for multilingual documents with complex visual layouts. We demonstrate that better document representation is the primary driver of benchmark improvements. By systematically varying transcription and preprocessing methods while holding the retrieval mechanism fixed, we demonstrate that BM25 can recover large gaps on multilingual and visual benchmarks. Our findings call for decomposed evaluation benchmarks that separately measure transcription and retrieval capabilities, enabling the field to correctly attribute progress and focus effort where it matters.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、外部文書や最新情報に言語モデルを構築する一般的な方法である。 古典的な検索システムはBM25のような語彙的手法に依存しており、文書はコーパスレベルの重み付けと重なり合う。 大規模なクエリドキュメントデータセットでトレーニングされたエンドツーエンドのマルチモーダルレトリバーは、これらのアプローチ、特に複雑な視覚的レイアウトを持つ多言語ドキュメントに対して、大幅に改善されていると主張している。 より優れたドキュメント表現がベンチマーク改善の原動力であることを実証する。 検索機構を固定したまま、体系的に書き起こしと前処理の方法を変更することにより、BM25が多言語および視覚的ベンチマークで大きなギャップを回復できることを実証する。 本研究は, 翻訳能力と検索能力を別々に測定し, 現場の進捗を正しく評価し, 作業に集中する評価ベンチマークを提案する。

関連論文リスト

• ReFeed: Retrieval Feedback-Guided Dataset Construction for Style-Aware Query Rewriting [0.4077787659104315]
  検索システムは、ユーザクエリがドメイン文書で使用される言語とスタイリスティックまたは意味的に異なるときに失敗することが多い。 この研究は、データ中心の情報検索における新たな方向性を強調し、フィードバックループとドキュメントスタイルのアライメントがRAGシステムの推論と適応性をいかに高めるかを強調した。
  論文  参考訳（メタデータ） (2026-03-02T03:43:53Z)
• VisR-Bench: An Empirical Study on Visual Retrieval-Augmented Generation for Multilingual Long Document Understanding [49.07705729597171]
  VisR-Benchは、長い文書における質問駆動型マルチモーダル検索のベンチマークである。 ベンチマークは、1.2Kドキュメントで35K以上の高品質なQAペアで構成されています。 テキストベースの手法,マルチモーダルエンコーダ,MLLMなど,さまざまな検索モデルを評価する。
  論文  参考訳（メタデータ） (2025-08-10T21:44:43Z)
• Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering [60.062194349648195]
  Document Visual Question Answering (DocVQA)は、長いマルチモーダル文書の処理において2つの課題に直面している。 現在の文書検索拡張生成法(DocRAG)はテキスト中心のアプローチによって制限されている。 MMDocRAGは,多ページのクロスモーダルエビデンスチェーンを持つ4,055のエキスパートアノテーション付きQAペアを特徴とする総合ベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T09:52:57Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Multilingual Retrieval Augmented Generation for Culturally-Sensitive Tasks: A Benchmark for Cross-lingual Robustness [30.00463676754559]
  検索したウィキペディア文書と組み合わせた領土紛争のデータセットであるBordIRLinesを49言語で紹介する。 我々は多言語検索のための複数のモードを定式化することにより、このRAG設定の言語間ロバスト性を評価する。 実験の結果,多様な言語からの視点を取り入れることで,ロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T01:59:07Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• CODER: An efficient framework for improving retrieval through COntextualized Document Embedding Reranking [11.635294568328625]
  本稿では,最小計算コストで広範囲の検索モデルの性能を向上させるためのフレームワークを提案する。 ベース密度検索法により抽出された事前計算された文書表現を利用する。 実行時に第一段階のメソッドの上に無視可能な計算オーバーヘッドを発生させ、最先端の高密度検索手法と簡単に組み合わせられるようにする。
  論文  参考訳（メタデータ） (2021-12-16T10:25:26Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。