論文の概要: Can Retrievers Find the Same Paper from Different Aspects? A Multi-Aspect Full-Paper Scientific Retrieval Benchmark

• arxiv url: http://arxiv.org/abs/2608.15624v1
• Date: Sun, 16 Aug 2026 08:41:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.366896
• Title: Can Retrievers Find the Same Paper from Different Aspects? A Multi-Aspect Full-Paper Scientific Retrieval Benchmark
• Title（参考訳）: レトリバーは異なる観点から同じ論文を見つけることができるか?
• Abstract要約: MAPLEは、マルチアスペクト、フルペーパー検索のためのエキスパート検証されたベンチマークである。 検索に基づくテキスト内学習パイプラインであるMAPLE-Synthを提案する。 実験では、紙を1つの側面から取り出すことと、それをあらゆる側面から取り出すことに、かなりのギャップが示されます。
• 参考スコア（独自算出の注目度）: 13.55197884375559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific papers contain multiple searchable facets such as background, methods. However, many paper retrieval benchmarks merely evaluate individual query-paper relevance, while overlooking other facets of the same paper. To bridge this gap, we introduce MAPLE, an expert-validated benchmark for multi-aspect, full-paper retrieval that evaluates whether retrievers can consistently recover the same paper from queries targeting its motivation, method, and experimental findings. MAPLE contains 2,095 queries about recent ML and NLP papers, grounded in both textual and multimodal content. We further propose MAPLE-Synth, a retrieval-based in-context learning pipeline that leverages OpenReview discussions and human-written query exemplars to generate realistic queries reflecting researchers' interests in different aspects of a paper. Our expert validation shows that these queries are comparable in realism to human-written queries and highly relevant to the target papers. Experiments across lexical, scientific-domain, general-purpose text, and multimodal retrievers reveal a substantial gap between retrieving a paper from any one aspect and retrieving it from all aspects: the strongest model achieves 98.1% AnyAspect@20 but only 15.7% AllAspect@20. Experiment/result queries and table-referenced queries are particularly difficult across retrievers. Although multi-chunk aggregation improves multi-aspect paper retrieval, considerable failures persist. MAPLE provides a testbed for evaluating and developing retrievers that represent scientific papers more comprehensively.
• Abstract（参考訳）: 科学論文には、背景や方法など、複数の検索可能なファセットが含まれている。 しかし、多くの論文検索ベンチマークは、同じ論文の他の面を見下ろしながら、個々の問合せ紙の関連性を評価するだけである。 このギャップを埋めるため,マルチアスペクト・フルペーパー検索のための専門家検証ベンチマークであるMAPLEを導入し,そのモチベーション,方法,実験結果を対象にしたクエリから,検索者が同じ論文を継続的に復元できるかどうかを評価する。 MAPLEには、最近のMLおよびNLP論文に関する2,095のクエリが含まれており、テキストコンテンツとマルチモーダルコンテンツの両方を基盤としている。 さらに、OpenReviewの議論や人手によるクエリ例を利用して、研究者の興味を論文のさまざまな面に反映したリアルなクエリを生成する、検索ベースのインコンテキスト学習パイプラインであるMAPLE-Synthを提案する。 専門家による検証では、これらのクエリは人間によるクエリに匹敵するリアリズムであり、ターゲット論文に非常に関連性があることが示されている。 語彙、科学領域、汎用テキスト、マルチモーダル検索の実験では、あらゆる面から紙を取り出すことと、あらゆる面から紙を取り出すという大きなギャップが明らかになっている:最強のモデルは98.1% AnyAspect@20だが、AllAspect@20はわずか15.7%である。 実験/再帰クエリとテーブル参照クエリは、検索者間で特に困難である。 マルチチャンクアグリゲーションは、マルチアスペクトの論文検索を改善するが、かなりの失敗は継続する。 MAPLEは、科学的論文をより包括的に表現するレトリバーの評価と開発のためのテストベッドを提供する。

関連論文リスト

• PaperScope: A Multi-Modal Multi-Document Benchmark for Agentic Deep Research Across Massive Scientific Papers [52.97586643334384]
  本稿ではエージェントディープリサーチのベンチマークであるPaperScopeを紹介する。 3年にわたる2000以上のAI論文の知識グラフ上に構築されている。 意味的に関連するキー情報ノードを統合し、最適化されたランダムウォーク記事セレクタを使用する。
  論文  参考訳（メタデータ） (2026-04-13T11:07:08Z)
• MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
  マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。 マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-30T15:09:14Z)
• DIVER: A Multi-Stage Approach for Reasoning-intensive Information Retrieval [36.38599923075882]
  DIVERは、推論集約的な情報検索のために設計された検索パイプラインである。 ドキュメント前処理ステージ、クエリ拡張ステージ、検索ステージ、再ランクステージの4つのコンポーネントで構成されている。 BRIGHTベンチマークでは、DIVERは最先端のnDCG@10スコアを45.8点、オリジナルクエリでは28.9点と達成し、競争力のある推論モデルを上回っている。
  論文  参考訳（メタデータ） (2025-08-11T13:57:49Z)
• Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
  The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。 SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
  論文  参考訳（メタデータ） (2025-07-14T08:41:53Z)
• MMDocIR: Benchmarking Multimodal Retrieval for Long Documents [44.02536756069517]
  この研究は、ページレベルとレイアウトレベルの検索という2つの異なるタスクを含むMMDocIRという新しいベンチマークを導入する。 MMDocIRベンチマークは、専門家によって注釈付けされた1,685の質問と、ブートストラップ付きラベル付き173,843の質問を含む、豊富なデータセットで構成されている。
  論文  参考訳（メタデータ） (2025-01-15T14:30:13Z)
• Open-World Evaluation for Retrieving Diverse Perspectives [39.22331280176582]
  主観的質問に対する検索多様性のベンチマーク(BERDS)を作成する。 それぞれの例は質問と、質問に関連するさまざまな視点で構成されている。 検索した文書に視点があるかどうかを判断する言語モデルに基づく自動評価器を構築した。
  論文  参考訳（メタデータ） (2024-09-26T17:52:57Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Beyond Relevance: Evaluate and Improve Retrievers on Perspective Awareness [56.42192735214931]
  検索者は、ドキュメントとクエリ間のセマンティックな関連性に頼るだけでなく、ユーザクエリの背後にある微妙な意図や視点を認識することも期待されている。 本研究では,検索者がクエリの異なる視点を認識し,応答できるかどうかを検討する。 我々は,現在の検索者はクエリにおいて微妙に異なる視点に対する認識が限られており,特定の視点に偏りがあることを示す。
  論文  参考訳（メタデータ） (2024-05-04T17:10:00Z)
• Multi-View Document Representation Learning for Open-Domain Dense Retrieval [87.11836738011007]
  本稿では,多視点文書表現学習フレームワークを提案する。 ドキュメントを表現し、異なるクエリに合わせるように強制するために、マルチビューの埋め込みを作成することを目的としている。 実験により,本手法は最近の成果より優れ,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-03-16T03:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。