論文の概要: SearchHorizonBench: A Benchmark for Search Value in AI Agents
- arxiv url: http://arxiv.org/abs/2610.34714v1
- Date: Mon, 26 Oct 2026 02:04:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.680583
- Title: SearchHorizonBench: A Benchmark for Search Value in AI Agents
- Title（参考訳）: SearchHorizonBench:AIエージェントの検索値のベンチマーク
- Abstract要約: 本稿では,実行経験から検索価値を学習し,評価するためのベンチマークであるSearchHorizonBenchを紹介する。
1,632の質問では、歴史的校正によってブライアエラーが16.2%減少し、改善は成功レベルの情報に集中している。
自由選択観測は、主にゲイン情報によって駆動される最良の一定の行動に対して2.49ポイントのユーティリティー機会をもたらす。
- 参考スコア（独自算出の注目度）: 0.49644055902166656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI agents must decide when another search is worth its cost. Answer-success probabilities capture question difficulty, while this decision requires estimating the additional benefit of search. We introduce SearchHorizonBench, a benchmark for learning and evaluating search value from execution experience. Paired continuations and repeated executions separate expected search gain from generation noise and connect prediction quality to decision utility. The resource contains 45,632 executions across 3,168 questions. On 1,632 held-out questions, historical calibration reduces Brier error by 16.2%, with the improvement concentrated in success-level information. Search gains have a standard deviation of 21.4 percentage points, and tested historical estimators explain less than 2% of this variance in point estimates. Matched-configuration learning curves probe this distinction across training scales. At the reference token price, free selection observations yield a 2.49-point utility opportunity over the best constant action, driven primarily by gain information. Reusable histories, frozen splits, strong baselines and scoring tools provide a common foundation for developing and evaluating value-aware search agents.
- Abstract（参考訳）: AIエージェントは、別の検索がいつそのコストに値するかを判断しなければならない。
解答確率は質問の難易度を捉えるが、この決定は検索のさらなる利点を推定する必要がある。
本稿では,実行経験から検索価値を学習し,評価するためのベンチマークであるSearchHorizonBenchを紹介する。
ペア化継続と繰り返し実行は、生成ノイズから期待される探索ゲインを分離し、予測品質を判定ユーティリティに接続する。
リソースには3,168の質問に対して45,632の実行が含まれている。
1,632の質問では、歴史的校正によってブライアエラーが16.2%減少し、改善は成功レベルの情報に集中している。
サーチゲインの標準偏差は21.4ポイントであり、テストされた歴史的推定者は点推定におけるこの差の2%未満を説明できる。
マッチング構成学習曲線は、トレーニングスケールでこの区別を探索する。
基準トークン価格では、自由選択観測は、主にゲイン情報によって駆動される最良の定数アクションよりも2.49ポイントのユーティリティ機会が得られる。
再利用可能な履歴、凍結した分割、強力なベースライン、スコアリングツールは、価値を意識した検索エージェントを開発し評価するための共通の基盤を提供する。
関連論文リスト
- SelfSearch: Reward-Free Search for Self-Improving Agents [12.612647781309098]
既存のアプローチでは、下流の繰り返しの評価を通じて改善されたエージェントを検索できる。
textbfSelfSearchは、前回の自己改善エピソードの記録を用いて、エージェントが自分自身を修正できる報酬のない検索手順である。
検索中にダウンストリームの報酬信号がないと、SelfSearchは6つのモデル(ベンチマーク設定)で初期エージェントよりも平均的な成功率を向上させる。
論文 参考訳（メタデータ） (2026-09-29T16:36:24Z) - Beyond Self-Knowledge: Propagating Uncertainty Across Reasoning and Retrieval in LLMs [4.476374205849672]
ブラックボックス言語モデルの言語的信頼度は、検索ルーティングのための実用的な信号として機能する。
6つのQAベンチマーク、3つのモデルファミリー、3つの検索ポリシーで27,000のポリシーインスタンスを評価した。
論文 参考訳（メタデータ） (2026-07-28T11:30:25Z) - R$^2$-Searcher: Calibrating Retrieval and Reasoning Boundaries for Agentic Search [59.034878430183305]
R$2$-Searcherは、検索と推論の境界を明示的に探索し、校正する。
R$2$-Searcherは,解答精度と検索品質において,最先端のエージェント検索法よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-06-26T19:44:34Z) - PeopleSearchBench: A Multi-Dimensional Benchmark for Evaluating AI-Powered People Search Platforms [14.675528528017653]
PeopleSearchBenchはオープンソースのベンチマークで、119の現実世界のクェリで4人の検索プラットフォームを比較します。
Criteria-Grounded Verificationは,クエリ毎に明確で検証可能な基準を抽出する,事実関連パイプラインだ。
専門のAIピープルサーチエージェントであるLessieは、第2級システムよりも65.2, 18.5%高いスコアで、総合的に最高の成績を収めている。
論文 参考訳（メタデータ） (2026-03-29T02:21:09Z) - SAGE: Steerable Agentic Data Generation for Deep Search with Execution Feedback [68.60326181052658]
本稿では,高品質で難易度の高い探索問合せを自動生成するエージェントパイプラインを提案する。
我々のパイプラインであるSAGEは、QAペアを提案するデータジェネレータと、生成された質問を解決するための検索エージェントで構成される。
我々の本質的な評価は、SAGEが様々な推論戦略を必要とする質問を生成する一方で、生成したデータの正確性や難易度を著しく高めていることを示している。
論文 参考訳（メタデータ） (2026-01-26T06:37:56Z) - SmartSearch: Process Reward-Guided Query Refinement for Search Agents [63.46067892354375]
大言語モデル(LLM)に基づく検索エージェントは、知識集約的な問題に対処するために有望であることが証明されている。
既存の研究は主に、検索エージェントの推論パラダイムの最適化に重点を置いているが、推論中の中間的な検索クエリの品質は見過ごされ続けている。
この問題を緩和する2つの主要なメカニズムの上に構築されたフレームワークであるSmartSearchを紹介します。
論文 参考訳（メタデータ） (2026-01-08T12:39:05Z) - ETS: Efficient Tree Search for Inference-Time Scaling [61.553681244572914]
テストタイムの計算スケーリングにおいて有望なアプローチのひとつは、プロセス報酬モデルに対する検索である。
木探索過程における軌跡の多様性は、多様性の増大がさらなる探索を促進するため、探索の精度に影響を与える。
本稿では,冗長なトラジェクトリを抽出し,必要な多様なトラジェクトリを維持しながら,KVの共有を促進する効率的なツリー探索(ETS)を提案する。
論文 参考訳（メタデータ） (2025-02-19T09:30:38Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳（メタデータ） (2023-05-01T02:37:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。