論文の概要: CompLit: Scientific Literature Search Benchmarks Must Cover Implicit, Cumulative, and Unmet Needs
- arxiv url: http://arxiv.org/abs/2610.28658v1
- Date: Sat, 10 Oct 2026 05:37:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 00:37:12.154371
- Title: CompLit: Scientific Literature Search Benchmarks Must Cover Implicit, Cumulative, and Unmet Needs
- Title（参考訳）: CompLit:科学文献検索のベンチマークは、インシデント、累積、そしてアンメットの必要性をカバーしなければならない
- Abstract要約: CompLitは8つのarXivドメインにまたがる文献検索ベンチマークである。
あらゆるドメインにエージェントは存在せず、2019年か2023年以降の論文では、すべてが正確ではない。
CompLitをうまく利用することは、必要な紙を見つけるために信頼できるエージェントへのステップであり、誰も存在しないことを教えてくれます。
- 参考スコア（独自算出の注目度）: 63.34531020584071
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: How much can we trust an agent to find the paper we need? As researchers, we search the literature from what we have read toward what we have not. We thus describe what we want in our own terms, which a paper may show only implicitly; our requirements grow as we read; and what we seek may lie in an empty region no paper yet covers. We introduce CompLit, a literature search benchmark spanning all eight arXiv domains, with one diagnostic setting for each of these needs. The strongest agents, Codex (GPT-5.6-Sol) and Claude Code (Opus 4.8), answer 86-87% of Standard queries, yet fall to 66-68% when requirements are implicit (implicit), lose another 6 and 15pp, respectively, as they accumulate (cumulative), and abstain on at most 53% of the queries no paper satisfies (unmet). No agent leads in every domain, and all are less accurate on papers from before 2019 or after 2023. Tracing their search, we find that agents often reach the right paper, or the closest one, yet misjudge it. Doing well on CompLit is a step toward agents that we can trust to find the paper we need, or to tell us that none exists.
- Abstract（参考訳）: 必要な紙を見つけるためにエージェントをどの程度信頼できますか。
研究者として、私たちが読んだものからまだ読んでいないものまで、文献を検索します。
ですから私たちは,紙が暗黙的にのみ示す,私たちの要求が読みながら大きくなる,空の領域に紙がまだカバーされていない,といった,私たち自身の言葉で何を求めているのかを記述しています。
CompLitは8つのarXivドメインすべてにまたがる文献検索ベンチマークで、それぞれのニーズに対して1つの診断設定を提供する。
最強のエージェントであるCodex(GPT-5.6-Sol)とClaude Code(Opus 4.8)は、標準クエリの86～87%に回答するが、要件が暗黙的である場合(単純)に66～68%に低下し、それぞれ6～15ppに低下する(累積)。
あらゆるドメインにエージェントは存在せず、2019年か2023年以降の論文では、すべてが正確ではない。
調査の結果、エージェントが正しい紙、または最も近い紙にたどり着いたが、誤解されていることが判明した。
CompLitをうまく利用することは、必要な紙を見つけるために信頼できるエージェントへのステップであり、誰も存在しないことを教えてくれます。
関連論文リスト
- Do Agents Need a New Kind of Paper? SPRA: Structured Paper Representation for Agents [6.266687840962098]
SPRA(Structured Paper Representation for Agents)は、永続的な研究対象と型付き関係の紙レベル表現である。
我々は、100万以上のAI論文にSPRAをインスタンス化し、1995万の研究ユニットと2407万の内的関係を持つ。
論文 参考訳（メタデータ） (2026-10-15T07:34:12Z) - Into the Unknown: Benchmarking AI agents on open scientific research problems [81.74071899184418]
Into the Unknownは、エージェントに科学論文を提供するベンチマークであり、フォローアップ論文を書くための研究の方向性とタスクを提供する。
9つのフロンティアエージェントがそれぞれ15のフォローアップを書き、量子コンピューティング、プラズマ物理学、計算化学、材料科学、科学機械学習ドメインにまたがっている。
135件の提出はいずれもすべての条件を満たしておらず、114件が完全性検査に失敗している。
論文 参考訳（メタデータ） (2026-10-13T20:25:59Z) - ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research [142.20765121870303]
我々はScholarCatalystを構築し、207のコンピュータサイエンス論文の184人のリード著者に、候補者がプロジェクトを進めたか、あるいは前進させたかのラベルを付ける。
最初の研究課題として,プロジェクト開始時に利用可能な文献のみから,これらの論文を検索する。
クロード・ファブル 5.1 上に作られたエージェントでさえ、訓練中に完成した書類を見たかもしれないが、わずか 0.51 R@20 である。
論文 参考訳（メタデータ） (2026-10-01T17:59:47Z) - Multi-Turn Agentic Scientific Literature Search via Workflow Induction [46.48960698773641]
本稿では,科学検索をワークフロー誘導としてフレーム化する多ターン文献検索エージェントPaperPilotを紹介する。
アンカー紙とユーザクエリが与えられた後、PaperPilotは、キーワード検索、引用拡張、フィルタリング、スコアリング、再ランク付け、エビデンス抽出を含む、ペーパー検索オペレータの実行可能なDAGを構築し、クエリとワークフロー自体を洗練するためにユーザフィードバックを使用する。
実験の結果、PaperPilot-9BはQwen3.5-9B基を多ターン相互作用で改善し、hit@5を58.0から77.0に、MRRを47.5から59.4に、nDCG@を増大させた。
論文 参考訳（メタデータ） (2026-07-01T08:21:23Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳（メタデータ） (2026-06-23T12:57:18Z) - Novelty-Aware Agentic Retrieval: Comparing Research Contributions Through Structured Multi-Step Reasoning [0.0]
ノベルティ・アウェア・リサーチ・エージェント(英: Novelty-Aware Research Agent)は、エージェント検索システムのプロトタイプである。
RAGパイプライン上の多段階推論を6つのタイプドコントラクトコンポーネントを通じて階層化する。
論文毎のコントリビューション記録、紙レベルのオーバーラップ、問題xメソッドギャップマトリックスなど、構造化された比較アーティファクトを生成する。
論文 参考訳（メタデータ） (2026-06-20T17:04:02Z) - How Far Are We From True Auto-Research? [20.195549933333222]
ResearchArenaは最小限の足場で、市販のエージェント自身が完全な研究ループを実行できる。
13のコンピュータサイエンスシードとエージェントドメインペア当たりのトライアルで、ResearchArenaは117のエージェント生成論文を生成する。
エージェント生成された117の論文のうち、トップレベルの会場の受け入れバーには到達しない。
論文 参考訳（メタデータ） (2026-05-18T22:20:33Z) - ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。
これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。
GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
論文 参考訳（メタデータ） (2026-02-16T19:00:03Z) - Can Deep Research Agents Find and Organize? Evaluating the Synthesis Gap with Expert Taxonomies [57.11324429385405]
72のコンピュータサイエンスサーベイから得られた診断ベンチマークであるTaxoBenchを紹介する。
我々は,3,815個の引用を根本的真理として正確に分類した分類木を手作業で抽出した。
ベストエージェントは、専門家が選択した論文の20.9%しかリコールせず、完璧なインプットであっても、最高のモデルは組織の0.31 ARIしか達成していない。
論文 参考訳（メタデータ） (2026-01-18T11:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。