論文の概要: ProSearch: Benchmarking Multi-Constraint Protocol Retrieval in Experimental Science
- arxiv url: http://arxiv.org/abs/2610.41396v1
- Date: Fri, 30 Oct 2026 08:06:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.6533
- Title: ProSearch: Benchmarking Multi-Constraint Protocol Retrieval in Experimental Science
- Title（参考訳）: ProSearch:実験科学におけるマルチ制約プロトコル検索のベンチマーク
- Abstract要約: 本稿では,実験科学におけるマルチ制約プロトコル検索のベンチマークであるProSearchを紹介する。
ProSearchには3つの重要な特徴がある:(1)リアリズム、実際の実験記録と専門家定義テンプレートに基づくクエリ、(2)複雑性、60の実験フィールドとその依存性、(3)クエリ毎に3～5の明示的な制約、そして数値と否定の制約を含む診断。
その結果得られたベンチマークには、6つの実験科学領域にわたる1,515のクエリが含まれている。
- 参考スコア（独自算出の注目度）: 15.864753070259425
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In AI for Science scenarios, experimental design and method reproduction require retrieving protocols that satisfy multiple interdependent constraints, yet existing benchmarks lack systematic evaluation of this capability. To address this gap, we introduce ProSearch, a benchmark for multi-constraint protocol retrieval in experimental science. ProSearch has three key features: (1) realism, with queries grounded in real experimental records and expert-defined templates; (2) complexity, with 60 experimental fields and their dependencies; and (3) diagnosticity, with 3-5 explicit constraints per query, including numerical and negation constraints. We construct ProSearch through LLM-based extraction, data-driven constraint selection, controlled query generation, and evidence-based relevance validation. The resulting benchmark contains 1,515 queries across six experimental science domains. We conduct extensive experiments on ProSearch with 19 representative retrievers and complementary analyses. The best-performing retriever achieves an average nDCG@10 of only 0.290, which improves to 0.474 with reranking. Structured diagnostic analysis shows that explicit constraint matching provides a strong ranking signal, while manual error analysis identifies joint constraint binding as a key bottleneck. ProSearch provides a testbed for systematically evaluating scientific retrieval systems.
- Abstract（参考訳）: AI for Scienceのシナリオでは、実験的な設計とメソッドの再現は、複数の相互依存的な制約を満たすプロトコルを検索する必要があるが、既存のベンチマークでは、この機能の体系的な評価が欠如している。
このギャップに対処するために,実験科学におけるマルチ制約プロトコル検索のベンチマークであるProSearchを紹介する。
ProSearchには3つの重要な特徴がある:(1)リアリズム、実際の実験記録と専門家定義テンプレートに基づくクエリ、(2)複雑性、60の実験フィールドとその依存性、(3)クエリ毎に3～5の明示的な制約、そして数値と否定の制約を含む診断。
我々は,LLMに基づく抽出,データ駆動型制約選択,制御クエリ生成,エビデンスに基づく妥当性検証を通じてProSearchを構築した。
その結果得られたベンチマークには、6つの実験科学領域にわたる1,515のクエリが含まれている。
本稿では,19名の代表者によるProSearch実験と相補的解析を行った。
最高の性能のレトリバーは、0.290のnDCG@10を平均で達成し、再び0.474に改善する。
構造的診断分析では、明示的な制約マッチングが強力なランキング信号を提供する一方で、手動によるエラー解析では、結合制約の結合が重要なボトルネックであると認識されている。
ProSearchは、科学的検索システムを体系的に評価するためのテストベッドを提供する。
関連論文リスト
- DiscoveryRSI: Recursively Learning to Discover Valuable Hypotheses [54.28444810466223]
有用かつ検証可能な研究仮説の運用定義を導入する。
我々のDiscoveryRSIフレームワークは、マルチエージェント進化探索により仮説木を開発する。
仮説品質を総合的に評価するDFM-Benchを紹介する。
論文 参考訳（メタデータ） (2026-10-16T17:56:35Z) - Searching for What Matters: Open-Ended Discovery of Multiple Hypotheses with Agentic Data Exploration [22.63091638661625]
オープンエンド多重仮説発見を導入する。
ベンチマークは、現実世界のデータスキーマに基づく構造因果モデルから構築される。
HypAgentは0.47の精度、0.51のリコール、0.49のF1を達成する。
論文 参考訳（メタデータ） (2026-10-13T07:33:48Z) - DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。
エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。
これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
論文 参考訳（メタデータ） (2026-09-27T08:29:32Z) - Learning the ARTS of Search for Automated Discovery [62.89970162621959]
本稿では, 木探索のためのエージェント推論を提案し, 科学的発見を誘導する。
このスペースをナビゲートするために、推論言語モデルをデプロイします。
我々は、ARTSが主要なアルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2026-06-20T05:47:37Z) - From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents [0.0]
スパース, 密度, ハイブリッド融合, クロスエンコーダリグレード, クエリ拡張, インデックス拡張, 適応検索にまたがる10の検索戦略をベンチマークした。
我々はRecall@k,MRR,nDCGによる検索品質とNumber Matchによるエンドツーエンド生成品質を評価する。
論文 参考訳（メタデータ） (2026-04-02T07:53:40Z) - A Collection of Systematic Reviews in Computer Science [0.0]
本稿では,コンピュータ科学における体系的レビューの大規模収集であるSR4CSを紹介する。
コーパスは、専門家が設計したBoolean検索クエリで1,212の体系的なレビューで構成されている。
その結果,検索パラダイム間の精度,リコール,ランキング行動の系統的差異が明らかになった。
論文 参考訳（メタデータ） (2026-03-11T12:30:05Z) - Score-based Greedy Search for Structure Identification of Partially Observed Linear Causal Models [34.09555821357439]
本稿では,有意性保証を伴う潜伏変数を含む構造を識別するための,最初のスコアに基づく欲求探索手法を提案する。
そこで我々は,このモデルに対して,厳密な探索アルゴリズムであるLatent variable Greedy Equivalence Search (LGES) を設計する。
論文 参考訳（メタデータ） (2025-10-05T21:50:17Z) - BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent [74.10138164281618]
BrowseComp-Plus(BrowseComp-Plus)は、BrowseCompから派生したベンチマークである。
このベンチマークは、ディープリサーチエージェントと検索方法の総合的な評価とアンタングル解析を可能にする。
論文 参考訳（メタデータ） (2025-08-08T17:55:11Z) - Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。
RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。
製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
論文 参考訳（メタデータ） (2025-06-29T08:34:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。