論文の概要: BlindToChange: AI Agents Can Find Changes When Asked But Do They Look When Needed?
- arxiv url: http://arxiv.org/abs/2610.41435v1
- Date: Fri, 30 Oct 2026 08:39:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.66354
- Title: BlindToChange: AI Agents Can Find Changes When Asked But Do They Look When Needed?
- Title（参考訳）: BlindToChange:AIエージェントは質問された時に変化を見つけることができるが、必要な時に見えるか?
- Abstract要約: BlindToChangeは、AIエージェントが反応に影響を与える最近の事象を積極的に発見するかどうかを測定するベンチマークである。
最近のイベントが明確に述べられていない場合、システムのパフォーマンスに大きなギャップがあります。
当社のベンチマークでは,ユーザ要求に明記されていない最近の情報をシステムに記述する,新たな進捗軸が強調され,追跡されている。
- 参考スコア（独自算出の注目度）: 25.49078566846033
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given that AI agents can search the web broadly and deeply in real time, it is tempting to conclude that their outputs account for recent world events. We show that this conclusion does not hold in practice. While agents can search and easily find recent changes, the correctness of their responses depends on whether they search and what they search for. Popular agentic search benchmarks like BrowseComp cannot expose failures wherein agents do not recognize their own assumptions that should be verified, since these benchmarks explicitly state what needs to be found. In contrast, many user requests state only the final information need (e.g., an itinerary for a trip), leaving the agent to discover relevant changes (e.g., the temporary closure of a museum) and account for their consequences. To highlight such gaps, we introduce BlindToChange, a benchmark that measures whether agents proactively discover recent events that affect their responses. Our benchmark comprises requests for recommendations where an obvious candidate is no longer applicable due to a recent real-world event. These events are drawn automatically from Wikidata, allowing BlindToChange to be periodically refreshed. Strikingly, we find a big gap -- as high as 27.5 points, even at high reasoning effort -- in systems' performance, when the recent event is not explicitly mentioned compared to when we ask about it directly. Analyzing search trajectories, we learn that more than half of the failures can be attributed to the fact that agents do not directly search to verify whether a relevant fact has changed. Our benchmark highlights, and tracks, a new axis of progress, wherein systems account for recent information that is not explicitly mentioned in the user request.
- Abstract（参考訳）: AIエージェントがWebを広く、そして深くリアルタイムで検索できることを考えると、彼らのアウトプットが最近の世界の出来事を反映していると結論付ける傾向があります。
この結論は実際には成立しないことを示す。
エージェントは最近の変化を検索し、簡単に見つけることができるが、その反応の正しさは、検索するかどうかと検索するものによって異なる。
BrowseCompのような一般的なエージェント検索ベンチマークは、エージェントが検証すべき仮定を認識できないような障害を公開することができない。
対照的に、多くのユーザ要求は、最終情報(例えば旅行の繰り返し)のみを記述し、エージェントは関連する変更(例えば、博物館の一時閉鎖)を発見し、その結果を説明する。
このようなギャップを強調するために、エージェントが反応に影響を与える最近の事象を積極的に発見するかどうかを測定するベンチマークであるBlindToChangeを紹介する。
我々のベンチマークは、最近の現実世界のイベントのために、明らかな候補がもはや適用されないレコメンデーションの要求で構成されている。
これらのイベントはWikidataから自動的に描画され、BlindToChangeは定期的に更新される。
興味深いことに、システムのパフォーマンスにおいて、最近のイベントが直接尋ねる時と比べて明確に言及されていない場合、大きなギャップが27.5ポイントにもなります。
探索軌跡を解析したところ、失敗の半数以上は、エージェントが関連する事実が変化したかどうかを直接検索しないという事実に起因していることがわかった。
当社のベンチマークでは,ユーザ要求に明記されていない最近の情報をシステムに記述する,新たな進捗軸が強調され,追跡されている。
関連論文リスト
- ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。
本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。
我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
論文 参考訳（メタデータ） (2026-08-03T08:46:48Z) - DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。
それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。
強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
論文 参考訳（メタデータ） (2026-07-19T15:20:40Z) - SearchOS-V1: Towards Robust Open-Domain Information-Seeking Agent Collaboration [77.28003194268977]
SearchOSは、脆弱で暗黙的な検索進捗を明示的で永続的で共有状態に変換するシステムレベルのマルチエージェントフレームワークである。
SOCM上に構築されたSearchOSは、サブエージェントの実行を重複させるパイプライン並列スケジューリングメカニズムを適用している。
SearchOSは評価されたシングルエージェントとマルチエージェントのベースラインの中で、すべてのメトリクスをリードする。
論文 参考訳（メタデータ） (2026-07-16T17:51:23Z) - When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search [6.384441153713447]
本稿では,DecoBenchについて紹介する。
探索エージェントが曖昧さを積極的に識別し、効果的な明確化の質問をし、ユーザインタラクションを通じて正しい推論経路を復元できるかどうかを評価するように設計されている。
実験により、あいまいさの検出と効果的な明確化は異なる能力であり、明確化を求める代わりに繰り返し検索することが直接推測よりも悪いことが示されている。
論文 参考訳（メタデータ） (2026-06-26T02:57:15Z) - AgentSearchBench: A Benchmark for AI Agent Search in the Wild [21.739444037726418]
本稿では,エージェント検索のための大規模ベンチマークであるAgentSearchBenchを紹介する。
このベンチマークは、エージェント検索を検索として形式化し、実行可能タスククエリと高レベルタスク記述の両方で問題を再分類する。
実行認識型探索を含む軽量な行動信号は、ランキング品質を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2026-04-24T10:53:54Z) - FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。
レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。
我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文 参考訳（メタデータ） (2026-04-14T17:04:25Z) - PATHWAYS: Evaluating Investigation and Context Discovery in AI Web Agents [0.0]
PATHWAYSは250のマルチステップ決定タスクのベンチマークである。
Webベースのエージェントが、隠れたコンテキスト情報を発見し、正しく使用できるかをテストする。
論文 参考訳（メタデータ） (2026-02-05T06:24:23Z) - Graph Enhanced BERT for Query Understanding [55.90334539898102]
クエリ理解は、ユーザの検索意図を探索し、ユーザが最も望まれる情報を発見できるようにする上で、重要な役割を果たす。
近年、プレトレーニング言語モデル (PLM) は様々な自然言語処理タスクを進歩させてきた。
本稿では,クエリコンテンツとクエリグラフの両方を活用可能な,グラフ強化事前学習フレームワークGE-BERTを提案する。
論文 参考訳（メタデータ） (2022-04-03T16:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。