論文の概要: Where Scientific Search Agents Fail: Decision-Checkpoint Auditing of Exposure and Inspection Attempts
- arxiv url: http://arxiv.org/abs/2609.38670v1
- Date: Tue, 29 Sep 2026 23:53:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.853559
- Title: Where Scientific Search Agents Fail: Decision-Checkpoint Auditing of Exposure and Inspection Attempts
- Title（参考訳）: 科学的検索エージェントの失敗
- Abstract要約: 最終回答の精度は、科学的調査エージェントが対象の紙に遭遇しなかったか、検査しようとしたか、検査後に受け入れられた回答を返すかを明らかにしていない。
推論中にベンチマークラベルを使わずに観察やツールアクションを記録する決定チェックポイントを導入し、対象のアイデンティティや評価者ラベルに参加して、記録されたイベントの結果カテゴリを割り当てる。
- 参考スコア（独自算出の注目度）: 1.1369842818939864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Final-answer accuracy does not reveal whether a scientific-search agent failed to encounter a target paper, attempt to inspect it, or return an accepted answer after inspection. We introduce decision checkpoints that record observations and tool actions without benchmark labels during inference, then join target identities and evaluator labels to assign outcome categories from recorded events. Across five conditions on 540 answerable AutoResearchBench Deep questions in a fixed, target-enriched environment, keyword search achieves 24.6\% accuracy, compared with 17.8\% for raw search. The keyword condition has fewer incorrect answers with neither target exposure nor inspection, but more incorrect answers after the target is exposed and left uninspected. Compared with keyword search, read-first has 27.4\% more recorded evidence-search calls. Target inspection attempts occur on 199 questions under read-first and 191 under keyword search; both conditions achieve 24.6\% accuracy. The checkpoint protocol makes these question-level differences explicit, distinguishing target exposure and inspection from aggregate accuracy and total tool use.
- Abstract（参考訳）: 最終回答の精度は、科学的調査エージェントが対象の紙に遭遇しなかったか、検査しようとしたか、検査後に受け入れられた回答を返すかを明らかにしていない。
推論中にベンチマークラベルを使わずに観察やツールアクションを記録する決定チェックポイントを導入し、対象のアイデンティティや評価者ラベルに参加して、記録されたイベントの結果カテゴリを割り当てる。
540 の回答可能な AutoResearchBench の5つの条件に対して、キーワード検索は生の検索で 17.8 % に対して 24.6 % の精度を達成する。
キーワード条件は、ターゲットの露出も検査も含まない誤答が少ないが、ターゲットが露出して無視された後の誤答の方が少ない。
キーワード検索と比較して、read-firstは27.4\%以上のエビデンス検索コールがある。
ターゲット検査の試みは、キーワード検索では199の質問、キーワード検索では191の質問で行われ、どちらの条件も24.6\%の精度で行われている。
チェックポイントプロトコルは、これらの質問レベルの違いを明確にし、対象の露出と検査を集計精度とツール使用の合計から区別する。
関連論文リスト
- Abstention Errors and Segment Support in CUAD: An Auditable Contract-Extraction Case Study [0.0]
本稿では,CUAD が発行した 102-contract test split に対する固定公開 RoBERTa チェックポイントの再現性評価について述べる。
30,464の返却候補文字列のうち19,562は注釈付き回答のない質問に現れる。
このシステムは2,938問のうち1,335問に答え、45.4%が偽陽性である。
論文 参考訳（メタデータ） (2026-09-07T21:26:53Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - Accuracy Hides How Language Models Fail: Measuring Failure States Under Matched Output Budgets [0.0]
言語モデルベンチマークは、2つの異なる測定質問を1つの精度スコアに分解する。
スコアラーに依存しない実行証拠を分離する2層評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-27T11:04:17Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration [66.89521868638815]
我々は,LLM生成の解明質問が下流の深層探索ユーティリティを改善するかどうかを評価するベンチマークであるClarify-Then-Searchを紹介する。
Baidu検索エンジンの実際のクエリデータに基づいて構築されたこのベンチマークには、518のキュレートされたインスタンスが含まれている。
静的な金に対して部分的にクレジットされた重み付きナゲット・リコールスコアであるrepure_score_100を用いて、エンドツーエンドのユーティリティをスコアする。
論文 参考訳（メタデータ） (2026-06-17T13:16:31Z) - To Search or Not to Search: Aligning the Decision Boundary of Deep Search Agents via Causal Intervention [61.82680155643223]
我々は,不整合決定境界の根本原因を同定し,蓄積した情報が回答するのに十分であるかどうかをしきい値に判定する。
これにより、過剰探索(十分な知識にもかかわらず冗長探索)と過度探索(早期終了)が誤った答えをもたらす。
まず,境界誤差を識別する因果的介入に基づく診断手法を提案する。
第2に,Deep Search Agent(DAS)のための決定境界アライメントを開発する。
我々のDAS法はこれらの境界を効果的に校正し、オーバーサーチとアンダーサーチの両方を緩和し、精度と効率を大幅に向上させる。
論文 参考訳（メタデータ） (2026-02-03T09:29:06Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - Multi-Agent Active Search using Detection and Location Uncertainty [6.587280549237275]
アクティブ検索アルゴリズムは、検出の不確実性と位置不確実性という2つのタイプの不確実性とを競合しなければならない。
まず,ターゲット検出と位置不確実性の両方を共同で扱う推論手法を提案する。
次に、トンプソンサンプリングを用いて、分散マルチエージェント能動探索を可能にする意思決定アルゴリズムを構築する。
論文 参考訳（メタデータ） (2022-03-09T04:53:37Z) - Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。
これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。
我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
論文 参考訳（メタデータ） (2020-03-05T16:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。