論文の概要: Projecting BrowseComp-Plus onto ClimbMix: Toward More Realistic Corpora for Agentic Search
- arxiv url: http://arxiv.org/abs/2608.20317v1
- Date: Thu, 20 Aug 2026 17:54:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.665293
- Title: Projecting BrowseComp-Plus onto ClimbMix: Toward More Realistic Corpora for Agentic Search
- Title（参考訳）: BrowseComp-PlusをClimbMixに投影する:エージェント検索のためのよりリアルなコーパスを目指して
- Abstract要約: BrowseComp-Plusベンチマークは、不透明なWeb検索を固定コーパスに置き換えることで、エージェント検索の評価を阻害した。
我々はBrowseComp-Plus_textCM$を導入し、BrowseComp-Plusの質問を保存しますが、その証拠はClimbMixに移動します。
私たちの主なコントリビューションは、これを可能にするプロジェクションパイプラインです。
- 参考スコア（独自算出の注目度）: 40.897106650424035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The BrowseComp-Plus benchmark disentangled the evaluation of agentic search by replacing opaque web search with a fixed corpus, so that an agent's role can be separated from the retriever's. That corpus, however, holds only about 100K documents and was assembled from the supporting documents of the benchmark's own queries plus mined hard negatives, so the evidence and the distractors were both selected per query. We introduce $\text{BrowseComp-Plus}_{\text{CM}}$, which keeps the BrowseComp-Plus questions but relocates their evidence to ClimbMix, a 400B-token, 553M-document mixture of web text released by NVIDIA for pre-training language models and built without reference to any benchmark. Our main contribution is the projection pipeline that makes this possible: it decomposes each question into atomic reasoning hops and grounds every hop in the new corpus, retaining a question only when automatic verification, an independent agent, and human review all confirm that every hop is supported. The pipeline is dataset-agnostic and applies to any benchmark whose questions decompose into verifiable facts. Applied to the 830 BrowseComp-Plus test questions, our pipeline yields 57 fully grounded questions with question-level relevance judgments. Projection shifts the difficulty onto retrieval, as the strongest agent we evaluate loses five points of answer accuracy but sees its evidence recall fall from 84.3% to 21.4% while issuing 63% more search calls. As the first of a series of projections, we release the pipeline, the benchmark, and our analyses at https://github.com/castorini/cmass.
- Abstract（参考訳）: BrowseComp-Plusベンチマークは、不透明なWeb検索を固定されたコーパスに置き換えることで、エージェントの役割を検索者から切り離すことによってエージェント検索の評価を阻害した。
しかし、そのコーパスは約100万件の文書しか持たず、ベンチマーク自体のクエリのサポートドキュメントに加えて、ハードネガティブも収集されていたため、証拠とイントラクタの両方がクエリ毎に選択された。
我々は、BrowseComp-Plus の質問を保持する$\text{BrowseComp-Plus}_{\text{CM}}$を紹介し、その証拠を ClimbMix に移動させる。
それぞれの質問を原子的推論ホップに分解し、新しいコーパスのすべてのホップを土台に置き、自動検証、独立エージェント、人間によるレビューですべてのホップがサポートされていることを確認します。
パイプラインはデータセットに依存しず、質問を検証可能な事実に分解するベンチマークに適用される。
830のBrowseComp-Plusテスト質問に適用すると、パイプラインは57の根拠付き質問を質問レベルの関連性判定で生成する。
最強のエージェントは5ポイントの解答精度を失うが、その証拠は84.3%から21.4%に減少し、さらに63%の検索コールが発行される。
一連のプロジェクションの最初の1つとして、パイプライン、ベンチマーク、分析結果をhttps://github.com/castorini/cmass.comで公開しています。
関連論文リスト
- SearchAtlas: Analyzing Agentic Search Strategies via Evidential Query Graphs [30.494397052362384]
本稿では,検索トラジェクトリを構造化グラフに変換するフレームワークであるSearchAtlasを紹介する。
我々の自動解析パイプラインは、人間の注釈付きグラフに対して86.4%の平均エッジF1を達成する。
我々は3つのベンチマークで5つの検索エージェントを分析し、検索尺度とエビデンスアグリゲーションの体系的な違いを明らかにした。
論文 参考訳（メタデータ） (2026-09-09T23:09:26Z) - Iris: Climbing to the Search Frontier [21.066541702697112]
我々は35B-A3Bスケールと397B-A17Bスケールでトレーニングされた2つの検索エージェントであるIris-miniとIris-proを紹介する。
論文 参考訳（メタデータ） (2026-09-03T17:51:01Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳（メタデータ） (2026-06-23T12:57:18Z) - EComAgentBench: Benchmarking Shopping Agents on Long-Horizon Tasks with Distributed Hidden Intent [8.1223119066448]
EComAgentBenchは、実際のAmazon製品とレビューに根ざした62のタスクのベンチマークである。
各タスクは、要求を可視クエリ、ツールゲートプロファイル、スクリプトによる明確化に分散する。
typed, source-tagged rubricsは、各タスクをグレードし、各障害を要件とそのソースに原因付ける。
論文 参考訳（メタデータ） (2026-06-16T09:10:48Z) - LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know? [32.434901767447165]
LLMベースの検索エージェントは、外部の証拠よりも本質的な知識に依存している。
LiveBrowseCompは、固有のカバレッジ以上のエージェントを評価するために設計されたベンチマークである。
評価されたすべてのエージェントは、クローズドブックの精度を2%以下に抑え、検索強化されたスコアは、BrowseCompと比較して25～40ポイント減少し、以前のモデルランキングは、もはやパフォーマンスを確実に予測することができない。
論文 参考訳（メタデータ） (2026-05-27T16:39:57Z) - ProactBench: Beyond What The User Asked For [5.422521416406412]
ProactBenchは、textscEmergent、単一の公開アンカーからの推論、textscCritical、複数のアンカー間での合成、textscRecovery、タスク完了後の前方にある値の3つのフェーズ型に分解する。
我々の情報アシンメトリーは、スタイル強調スコア、漏洩、外部コンテキスト汚染、情報ダンプに対して防御します。
論文 参考訳（メタデータ） (2026-05-09T23:56:04Z) - SPD-RAG: Sub-Agent Per Document Retrieval-Augmented Generation [0.0]
SPD-RAG(SPD-RAG)は,クロスドキュメントな質問応答のための階層型マルチエージェントフレームワークである。
各文書は、自身のコンテンツのみで動作する専用文書レベルエージェントによって処理され、集中した検索が可能となる。
SPD-RAGは58.1(GPT-5評価)のAvgスコアを達成し、正規RAG(3.0)とエージェントRAG(32.8)を上回り、フルコンテキストベースライン(68.0)のAPIコストの38%しか使用していない。
論文 参考訳（メタデータ） (2026-03-09T12:46:32Z) - BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent [74.10138164281618]
BrowseComp-Plus(BrowseComp-Plus)は、BrowseCompから派生したベンチマークである。
このベンチマークは、ディープリサーチエージェントと検索方法の総合的な評価とアンタングル解析を可能にする。
論文 参考訳（メタデータ） (2025-08-08T17:55:11Z) - Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。
RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。
製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
論文 参考訳（メタデータ） (2025-06-29T08:34:59Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳（メタデータ） (2024-07-16T17:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。