ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
Abstractの概要
ScholarCatalystは、研究プロジェクトを有意義に前進させた、あるいは前進させ得た過去の論文を検索するためのベンチマークです。本ベンチマークは、最近のコンピュータサイエンス分野の論文207本を対象に、184名の筆頭著者による直接の判断に基づいて構築されており、著者による検証用の候補論文とクエリを準備する自動パイプラインを使用しています。解決策を前提としたクエリではなく初期段階の研究課題を用い、各プロジェクト完了前に入手可能だった文献に限定された19万1千本の論文コーパスから、システムがこれら着想の契機となった論文（カタリスト論文）を検索できるかを評価します。語彙検索、密ベクトル検索、マルチベクトル検索、エージェント手法のいずれにおいても、現在のシステムは著者が特定した着想論文の限られた一部しか復元できていません。
新規性
主な新規性は、どの過去論文が実際に自身の研究を着想させ、あるいは前進させ得たかに関する著者の直接的な説明と、それらの判断の根拠に基づいた検索ベンチマークである点にあります。本タスクは、発見前の初期クエリ、著者によるアノテーション、そして公式な引用や出版記録にはほとんど存在しない潜在的な関連性シグナルを独自に組み合わせており、ベンチマークの継続的な更新を可能にする自動パイプラインによって支えられています。
成果
評価されたカットオフ前のモデルの中では汎用の密ベクトル検索モデルが最も高い性能を示したものの、コア・クエリでのRecall@20は39%、特定サブフィールドのクエリでも51%にとどまりました。エージェント型検索手法は、マルチターン検索における候補の網羅性が制限されることが主な原因となり、単体の埋め込み検索を上回ることができませんでした（Recall@20で0.42対0.48）。さらに、著者が特定したカタリスト論文は、除外されたハードネガティブ論文と比較してクエリとの語彙的または意味的類似性が高いわけではなく、このタスクにおいてはトピックの類似性だけでは不十分であることが示されました。
論文の注目点
- ScholarCatalystは、プロジェクト開始前の19万1千本のコンピュータサイエンス論文コーパスから抽出され、著者が検証した正例およびハードネガティブ論文と対になる、207件のプロジェクトに由来する894件のクエリを含んでいる。
- 現在の検索システムおよびエージェントシステムは着想論文の検索に苦戦しており、最も強力なカットオフ前の密ベクトル検索モデルでも上位20件の結果において正解論文の約半分以上を見逃している。
- 分析の結果、科学的着想の関係性は多様であり、引用されないことも多く、テキスト類似度指標には弱くしか反映されないため、候補生成が主なボトルネックになっていることが明らかになった。