論文の概要: Inspire: Benchmarking Scientific Literature Search for Open Research Problems
- arxiv url: http://arxiv.org/abs/2609.33233v1
- Date: Sun, 27 Sep 2026 05:21:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 02:01:44.136641
- Title: Inspire: Benchmarking Scientific Literature Search for Open Research Problems
- Title（参考訳）: インスピレーション:オープンリサーチ問題のための科学文献検索のベンチマーク
- Abstract要約: INSPIREは、先行文献を検索し、解法で修正された研究問題を進行させるエージェントを評価するためのベンチマークである。
現在のエージェントは、より広範な事前作業のポートフォリオを組み立てるよりも、孤立した前駆体をより容易に回収できることを示します。
また,テスト時間情報を変更することなく,保持検索の改善を図っている。
- 参考スコア（独自算出の注目度）: 32.85332215557839
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific literature search often begins with an open research problem rather than a known target paper or a fixed candidate set. We introduce INSPIRE, a benchmark for evaluating agents that search prior literature to make progress on solution-redacted research problems. Each instance pairs a research brief with a target-specific cutoff three months before a later paper and evaluates ranked outputs against graded cited antecedents from that paper's realized research lineage. Search proceeds over an open corpus, while the identity of the target paper and membership of its cited antecedents remain hidden from the agent. Beyond end-to-end retrieval quality, INSPIRE uses logged search trajectories to distinguish three coupled stages: resource exposure, whether useful antecedents are surfaced during search; selection, whether exposed antecedents are retained; and ranking, how effectively retained papers are ordered. Across 476 computer-science targets under a shared search interface and budget, the strongest evaluated agent achieves 0.284 nDCG@10. Results show that current agents more readily recover an isolated antecedent than assemble a broader portfolio of relevant prior work. The stagewise analysis identifies resource exposure as the largest observed bottleneck, with further losses in selection and ranking. We additionally construct replay-valid hindsight demonstrations and show that they improve held-out search without changing test-time information, establishing that the benchmark provides an actionable learning signal. INSPIRE therefore enables both end-to-end comparison and stage-resolved diagnosis in a setting where the agent must construct its own working criterion of relevance.
- Abstract（参考訳）: 科学文献検索は、既知の対象論文や固定された候補セットではなく、オープンな研究問題から始まることが多い。
InSPIREは、先行文献を検索し、解法に適合する研究課題を進展させるエージェントを評価するためのベンチマークである。
それぞれのインスタンスは、後続の論文の3ヶ月前のターゲット固有のカットオフと研究ブリーフをペアリングし、その論文が実現した研究系統から引用された先駆者に対してランク付けされたアウトプットを評価する。
検索はオープンコーパスを乗り越えるが、対象の紙の同一性とその引用された先行者のメンバーシップはエージェントから隠されている。
エンド・ツー・エンドの検索品質以外にも、INSPIREはログ検索トラジェクトリを使用して3つの組み合わせたステージを識別する。
476件のコンピュータサイエンス目標を検索インタフェースと予算で比較したところ,最多評価エージェントは0.284件のnDCG@10を達成している。
その結果、現在のエージェントは、より広範な事前作業のポートフォリオを組み立てるよりも、孤立した前駆体をより容易に回収できることがわかった。
段階的な分析では、資源の露出が最大のボトルネックであり、選択とランク付けにさらなる損失がある。
また,テスト時間情報を変更することなく,動作可能な学習信号を提供することを確認した。
そのため、INSPIREは、エージェントが関連性の動作基準を構築する必要がある環境で、エンド・ツー・エンドの比較とステージ・リゾルドの診断の両方を可能にする。
関連論文リスト
- Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents [16.43230671992556]
AutoSciRubは評価ファーストのフレームワークで、研究実行前にタスク固有の実行ファイルを誘導する。
AutoSciRubは、未特定の命令を原子科学的目標に分解し、関連する文献やタスク可視データに基礎を置いて、特定の、実行可能な、検証可能な基準を合成する。
改訂期間中、ルーブリック誘導検証は未測定の基準を特定し、研究報告の目的の精査を可能にする。
論文 参考訳（メタデータ） (2026-08-31T16:48:51Z) - Personalized Auto-Research: Towards a True AI Co-Scientist [90.01790420664169]
研究目標を考えると、最先端のシステムは研究者に依存しないままである。
小説、価値、実現可能なものは研究者によって異なる。
本稿では,検索,仮説探索,実験,執筆,レビューを通じて,グラフグラウンドの研究者コンテキストをスレッド化するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-14T20:43:27Z) - Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。
本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。
我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
論文 参考訳（メタデータ） (2026-08-03T08:46:48Z) - ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes [34.230808196436676]
我々は、ResearchStudio-Ideaを、この最初の研究アイデアのための再利用可能なスキルスイートとして紹介する。
このスイートには、スタンドアロンのマルチソース文献検索スキルであるPaper-Searchと、新規性主張のためのスタンドアロンの先行技術衝突チェックツールであるScoop-Checkが含まれている。
IdeaSparkは、エビデンスグラウンディング、パターン誘導生成、衝突検索、監査、アイデアカードレンダリングを構成するエンドツーエンドのスキルである。
論文 参考訳（メタデータ） (2026-07-05T17:59:43Z) - R$^2$-Searcher: Calibrating Retrieval and Reasoning Boundaries for Agentic Search [59.034878430183305]
R$2$-Searcherは、検索と推論の境界を明示的に探索し、校正する。
R$2$-Searcherは,解答精度と検索品質において,最先端のエージェント検索法よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-06-26T19:44:34Z) - ScholarQuest: A Taxonomy-Guided Benchmark for Agentic Academic Paper Search in Open Literature Environments [44.35044790171568]
エージェント学術論文検索のための大規模分類指導型ベンチマークであるScholarQuestを提案する。
1000以上のコンピュータサイエンストピックと、メソッド指向、セッティングアンコール、比較ベース、スコープ制御クエリを含む4つの代表的な研究意図から構築されている。
ベンチマークの結果,エージェント手法は単発検索ベースラインよりも優れているが,最も優れたエージェントは0.314 Recall@100と0.355 Recall@Allのみであり,改善の余地は十分にある。
論文 参考訳（メタデータ） (2026-06-18T13:47:20Z) - AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。
エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。
最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
論文 参考訳（メタデータ） (2026-04-28T06:05:17Z) - Learning to Retrieve from Agent Trajectories [72.8923565916533]
我々はエージェント間相互作用データから直接エージェント探索のための検索モデルを訓練すべきであると主張している。
エージェント・トラジェクトリからの学習を新たな訓練パラダイムとして導入し,マルチステップエージェントのインタラクションから指導を導出する。
本研究は,エージェント探索時代における検索の方向性を示すとともに,エージェントトラジェクトリを実用的でスケーラブルな監視源として強調するものである。
論文 参考訳（メタデータ） (2026-03-30T17:59:02Z) - SmartSearch: Process Reward-Guided Query Refinement for Search Agents [63.46067892354375]
大言語モデル(LLM)に基づく検索エージェントは、知識集約的な問題に対処するために有望であることが証明されている。
既存の研究は主に、検索エージェントの推論パラダイムの最適化に重点を置いているが、推論中の中間的な検索クエリの品質は見過ごされ続けている。
この問題を緩和する2つの主要なメカニズムの上に構築されたフレームワークであるSmartSearchを紹介します。
論文 参考訳（メタデータ） (2026-01-08T12:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。