論文の概要: ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research

• arxiv url: http://arxiv.org/abs/2610.02202v1
• Date: Thu, 01 Oct 2026 17:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.373803
• Title: ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
• Title（参考訳）: ScholarCatalyst:新しい研究を刺激する論文の検索ベンチマーク
• Abstract要約: 我々はScholarCatalystを構築し、207のコンピュータサイエンス論文の184人のリード著者に、候補者がプロジェクトを進めたか、あるいは前進させたかのラベルを付ける。 最初の研究課題として,プロジェクト開始時に利用可能な文献のみから,これらの論文を検索する。 クロード・ファブル 5.1 上に作られたエージェントでさえ、訓練中に完成した書類を見たかもしれないが、わずか 0.51 R@20 である。
• 参考スコア（独自算出の注目度）: 142.20765121870303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What makes great scientists great? Even as AI systems start to make progress on open problems, scientists remain far ahead of them at sensing which prior idea, buried in an ever-growing archive of research, a new problem needs. To study this skill, we draw on researchers who know firsthand which earlier work advanced their completed projects, with papers serving as pointers to the ideas within. Using our automated pipeline that makes author annotation scalable, we build ScholarCatalyst by having 184 lead authors of 207 recent computer science papers label which candidates did or could have advanced their project, each with a detailed rationale. We introduce a retrieval task with author-provided judgments: given an initial research question, retrieve these papers from only the literature available when the project began. Agentic search does no better than embedding retrieval (0.42 vs. 0.48 Recall@20) despite calling that same retriever as a tool. Even an agent built on Claude Fable 5.1, which may have seen the completed papers during training, reaches only 0.51 R@20. These results highlight the need for new training recipes that equip models with expert intuition for searching broad corpora. We envision ScholarCatalyst as a step toward scientific agents that can take a half-formed idea and point to the prior research it needs.
• Abstract（参考訳）: 偉大な科学者はなぜ素晴らしいのか? AIシステムがオープンな問題に進歩し始める中、科学者たちは、いつまでも成長を続ける研究のアーカイブに埋もれている以前のアイデアを検知する上で、新たな問題が必要である。 このスキルを研究するために、我々は、論文がアイデアのポインタとして機能し、初期の研究が完成したプロジェクトを進めたことを、手作業で知っている研究者を引き合いに出した。 著者のアノテーションをスケーラブルにするための自動パイプラインを使用することで、ScholarCatalystを構築します。 著者による判断による検索タスクを導入し,プロジェクト開始時に利用可能な文献のみからこれらの論文を検索する。 エージェント検索は、ツールと同じ検索ツールを呼び出しながら、検索を埋め込む(0.42 vs. 0.48 Recall@20)のに勝る。 クロード・ファブル 5.1 上に作られたエージェントでさえ、訓練中に完成した書類を見たかもしれないが、わずか 0.51 R@20 である。 これらの結果は,広義のコーパスを探索する専門家の直感をモデルに取り入れた新たなトレーニングレシピの必要性を浮き彫りにしている。 我々はScholarCatalystを、半形式的なアイデアを取り入れ、必要な先行研究を示す科学的エージェントへのステップとして想定している。

関連論文リスト

• Personalized Auto-Research: Towards a True AI Co-Scientist [90.01790420664169]
  研究目標を考えると、最先端のシステムは研究者に依存しないままである。 小説、価値、実現可能なものは研究者によって異なる。 本稿では,検索,仮説探索,実験,執筆,レビューを通じて,グラフグラウンドの研究者コンテキストをスレッド化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-14T20:43:27Z)
• AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
  研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。 我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。 障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
  論文  参考訳（メタデータ） (2026-05-18T17:08:26Z)
• SciResearcher: Scaling Deep Research Agents for Frontier Scientific Reasoning [54.194672921128785]
  我々は、フロンティア科学データ構築のための完全に自動化されたエージェントフレームワークであるSciResearcherを紹介する。 SciResearcherは、学術的証拠に基づく様々な概念的および計算的なタスクを合成する。 我々は,HLE-Bio/Chem-Goldベンチマークで19.46%を達成できるエージェント基盤モデルであるSciResearcher-8Bを開発した。
  論文  参考訳（メタデータ） (2026-05-02T15:26:45Z)
• AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
  AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。 エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。 最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
  論文  参考訳（メタデータ） (2026-04-28T06:05:17Z)
• PaperSearchQA: Learning to Search and Reason over Scientific Papers with RLVR [64.22412492998754]
  我々は,1600万件のバイオメディカルペーパーを要約した検索コーパスを公開し,PaperSearchQAと呼ばれるファクトイックなQAデータセットを構築した。 我々は,この環境における検索エージェントを訓練し,非RL検索ベースラインを上回ります。 我々のデータ生成方法はスケーラブルで、他の科学領域にも容易に拡張できます。
  論文  参考訳（メタデータ） (2026-01-26T06:46:16Z)
• CycleResearcher: Improving Automated Research via Automated Review [37.03497673861402]
  本稿では,オープンソースの後学習型大規模言語モデル(LLM)を,自動研究とレビューの全サイクルを遂行する自律エージェントとして活用する可能性について検討する。 これらのモデルをトレーニングするために、現実の機械学習研究とピアレビューダイナミクスを反映した2つの新しいデータセットを開発した。 その結果,CycleReviewerは平均絶対誤差(MAE)を26.89%削減して有望な性能を達成できた。
  論文  参考訳（メタデータ） (2024-10-28T08:10:21Z)
• Interesting Scientific Idea Generation using Knowledge Graphs and LLMs: Evaluations with 100 Research Group Leaders [0.6906005491572401]
  我々は,5800万件の研究論文と大規模言語モデルを用いて研究アイデアを生成するSciMuseを紹介した。 我々は、100以上の研究グループのリーダーが興味に基づいて4,400以上のパーソナライズされたアイデアをランク付けする大規模な評価を行う。 このデータにより,(1)人間の評価に基づいて訓練された教師付きニューラルネットワーク,(2)大規模言語モデルを用いた教師なしゼロショットランキングを用いて,研究の関心を予測できる。
  論文  参考訳（メタデータ） (2024-05-27T11:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。