論文の概要: Rethinking Literature Search Evaluation: Deep Research Helps, and Human Citation Lists Are Not a Ground Truth

• arxiv url: http://arxiv.org/abs/2605.29234v1
• Date: Thu, 28 May 2026 01:50:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.584536
• Title: Rethinking Literature Search Evaluation: Deep Research Helps, and Human Citation Lists Are Not a Ground Truth
• Title（参考訳）: 文学検索の評価を再考する: 深い研究支援と人間の引用リストは真実ではない
• Authors: Gaurav Sahu, Laurent Charlin, Christopher Pal,
• Abstract要約: 本研究では,検索パイプラインの改良と,評価対象としてのヒト参照リストのストレステストという,2つの相補的な角度からの大規模文献検索について検討する。 本稿では,全問合せ用紙の処理を行うDeep Researchパイプラインを実装した。 これはバニラAPIのみの検索よりも大幅に優れており、RollingEval-Jun25(250ページの文献検索ベンチマーク)を20%未満から80%以上までリコールしている。 人間の引用の51%が適度に関連づけられていると判断され、最強のAIベースのリランクは86～88%だった。
• 参考スコア（独自算出の注目度）: 16.35818195821218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study large-scale literature search from two complementary angles: improving the retrieval pipeline, and stress-testing the human reference list as an evaluation target. First, we implement a Deep Research pipeline that processes the full query paper and expands the retrieved results breadth-first along their bibliographies, and show that it substantially outperforms vanilla API-only search, raising recall on RollingEval-Jun25 (a 250-paper literature-search benchmark) from below 20% to above 80%. Second, we use a neutral LLM-as-a-judge to determine if human references are sound ground truth for the task. We find significant limitations: only 51% of human citations are judged moderately relevant or higher, against 86--88% for the strongest AI-based re-rankers. We study this gap on the OpenAlex co-authorship graph, finding that humans are 2.5x more likely than the best AI re-rankers to cite a direct collaborator. Together, our results argue against single-axis literature-search evaluation: recall, topical-relevance scoring, ranked-list diversity, and a co-authorship-distance diagnostic each measure complementary properties of citation quality and should be reported jointly.
• Abstract（参考訳）: 本研究では,検索パイプラインの改良と,評価対象としてのヒト参照リストのストレステストという,2つの相補的な角度からの大規模文献検索について検討する。 まず,全問合せ用紙の処理を行うDeep Researchパイプラインを実装し,その結果を書誌に沿って拡張し,バニラAPIのみの検索を著しく上回り,RollingEval-Jun25(250ページの文献検索ベンチマーク)を20%未満から80%以上までリコールすることを示す。 第二に、中性LLM-as-a-judgeを用いて、人間の参照がタスクにとって健全な真実であるかどうかを判断する。 人間の引用の51%が適度に関連づけられていると判断され、最強のAIベースのリランカーは86～88%である。 我々は、このギャップをOpenAlexの共著者グラフで研究し、人間はAIのリランカより2.5倍高い確率で、直接の協力者を引用している。 本研究の結果は, 単軸文献検索評価(リコール, トピック関連スコア, ランクリストの多様性, 共著者間距離診断) に対して, それぞれが引用品質の相補的特性を計測し, 共同で報告するべきである。

関連論文リスト

• Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents [0.18762753243053634]
  大規模言語モデル(LLM)は、数百のWebソースから情報を引用したレポートに合成するディープリサーチエージェントをパワーアップする。 現在のアプローチでは、信頼モデルが正確な自己引用、バイアスのリスク、あるいはソースアクセシビリティ、関連性、事実整合性を検証しない検索強化世代(RAG)を採用する。 本稿では,再現可能なASTルーブリックを用いてインライン引用を大規模に抽出し,評価する最初の情報源属性評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-07T17:46:45Z)
• AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
  AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。 エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。 最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
  論文  参考訳（メタデータ） (2026-04-28T06:05:17Z)
• MasterSet: A Large-Scale Benchmark for Must-Cite Citation Recommendation in the AI/ML Literature [14.082854604879572]
  MasterSetは、AI/MLドメインで必須のレコメンデーションを評価するために設計された大規模なベンチマークである。 15の主要な会場の公的な会議手続きやWebサイトから収集された15万以上の論文が組み込まれている。 ベンチマークタスクでは、クエリペーパーのタイトルと抽象性のみを考慮すれば、候補プールから必須論文を取得する必要がある。
  論文  参考訳（メタデータ） (2026-04-20T00:34:28Z)
• CRISP: Characterizing Relative Impact of Scholarly Publications [70.25915589244961]
  本稿では,大規模言語モデル(LLM)を用いた引用論文の中で,引用論文の全てを共同でランク付けするCRISPを提案する。 LLMの位置バイアスを軽減するために、ランダムな順序で各リストを3回ランク付けし、多数決によって影響ラベルを集約する。 CRISPは従来の最先端の衝撃分類器の精度を+9.5%、F1を+8.3%で上回っている。
  論文  参考訳（メタデータ） (2026-03-25T16:42:30Z)
• APRES: An Agentic Paper Revision and Evaluation System [44.44345338738518]
  科学者が自身の仕事を伝え、コミュニティからフィードバックを受け取るための第一の方法は、ピアレビューである。 本稿では,Large Language Models (LLMs) を利用した新しいAPRES手法を提案する。 提案手法は,将来的な引用数を高い精度で予測できるルーリックを発見し,APRESと統合して論文を改訂し,その品質と影響を高める。
  論文  参考訳（メタデータ） (2026-03-03T16:29:13Z)
• Can Deep Research Agents Find and Organize? Evaluating the Synthesis Gap with Expert Taxonomies [57.11324429385405]
  72のコンピュータサイエンスサーベイから得られた診断ベンチマークであるTaxoBenchを紹介する。 我々は,3,815個の引用を根本的真理として正確に分類した分類木を手作業で抽出した。 ベストエージェントは、専門家が選択した論文の20.9%しかリコールせず、完璧なインプットであっても、最高のモデルは組織の0.31 ARIしか達成していない。
  論文  参考訳（メタデータ） (2026-01-18T11:57:09Z)
• BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent [74.10138164281618]
  BrowseComp-Plus(BrowseComp-Plus)は、BrowseCompから派生したベンチマークである。 このベンチマークは、ディープリサーチエージェントと検索方法の総合的な評価とアンタングル解析を可能にする。
  論文  参考訳（メタデータ） (2025-08-08T17:55:11Z)
• LitSearch: A Retrieval Benchmark for Scientific Literature Search [48.593157851171526]
  我々は,最近のMLおよびNLP論文に関する597のリアルな文献検索クエリからなる検索ベンチマークLitSearchを紹介する。 LitSearchのすべての質問は、高品質を保証するために専門家によって手作業で検査または編集された。 BM25と最先端の高密度リトリーバーの間には,24.8%の絶対差がみられた。
  論文  参考訳（メタデータ） (2024-07-10T18:00:03Z)
• Cracking Double-Blind Review: Authorship Attribution with Deep Learning [43.483063713471935]
  本稿では、匿名の原稿を著者に属性付けるトランスフォーマーベースのニューラルネットワークアーキテクチャを提案する。 我々は、arXivで公開されているすべての研究論文を200万冊以上の原稿に活用する。 本手法は, 論文の最大73%を正解する, 前代未聞の著者帰属精度を実現する。
  論文  参考訳（メタデータ） (2022-11-14T15:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。