論文の概要: Confident Fools or Careful Searchers? A Behavioural Study of When LLMs Search Beyond Their Static Internal Memory

• arxiv url: http://arxiv.org/abs/2610.41124v1
• Date: Fri, 30 Oct 2026 01:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.582727
• Title: Confident Fools or Careful Searchers? A Behavioural Study of When LLMs Search Beyond Their Static Internal Memory
• Title（参考訳）: 自信あるフールか注意深い検索者か : LLMが静的な内部記憶を超えて検索する際の行動学的研究
• Abstract要約: 必要のない検索はレイテンシと費用がかかります。 我々は、広く知られている内部知識(IK)質問と外部知識(OK)質問とを組み合わせ、400の多重選択質問のベンチマークを導入する。 各項目は、控えめなオプションを提供し、2つのアクションレベルスコア、NASとKIS、OK質問の検索とIK質問の抑制を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic LLM assistants must repeatedly decide whether to answer from memory or to call a tool such as web search. Unnecessary searches cost latency and money; missing ones yield confident but unsupported answers. Prior work mostly measures verbalised confidence or trains new adaptive-retrieval methods, and rarely audits the search decisions that deployed products actually make. We introduce a benchmark of 400 multiple-choice questions that combines widely known inside-knowledge (IK) questions, which should be answered directly, with outside-knowledge (OK) questions about facts from news published after the models' training cut-offs (to our knowledge), which should trigger search or, without tools, abstention. Each item offers an abstain option, and two action-level scores, NAS and KIS, reward searching on OK questions and restraint on IK questions. Across five commercial LLMs with and without their vendors' web search, GPT-5 mini and Grok 4 Fast search on over 90% of OK but only 1% of IK questions, whereas Mistral Small searches on just 20% of OK questions, often abstaining instead of using its tool; one product's search indicator proved unusable. Searching is partly triggered by explicit temporal cues: on uncued OK questions, the NAS of the two selective models falls from about 0.72 to 0.57--0.58. The scores thus measure the search triggering of specific products, not metacognition in a strict sense.
• Abstract（参考訳）: エージェントLLMアシスタントは、メモリから応答するか、ウェブ検索のようなツールを呼び出すか、繰り返し決めなければならない。 必要のない検索はレイテンシと費用がかかります。 以前の作業は、主に言語化された信頼度を測定したり、新しい適応型検索方法を訓練したりし、製品が実際に行う検索判断を監査することはめったにない。 我々は、広く知られている内部知識(IK)質問と、モデルのトレーニング遮断後(私たちの知る限り)に公表されたニュースの事実に関する外部知識(OK)質問とを組み合わせ、400の多重選択質問のベンチマークを導入する。 各項目は、控えめなオプションを提供し、2つのアクションレベルスコア、NASとKIS、OK質問の検索とIK質問の抑制を提供する。 ベンダーのWeb検索、GPT-5 mini、Grok 4の5つの商用LCMのうち、90%以上を高速で検索するが、IK質問の1%しか検索しないのに対して、Mistral Smallでは、OK質問の20%しか検索せず、ツールを使う代わりに中断することが多い。 2つの選択モデルのNASは0.72から0.57-0.58に低下する。 スコアは、厳密な意味でメタ認知ではなく、特定の商品の検索トリガーを測定する。

関連論文リスト

• When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search [6.384441153713447]
  本稿では,DecoBenchについて紹介する。 探索エージェントが曖昧さを積極的に識別し、効果的な明確化の質問をし、ユーザインタラクションを通じて正しい推論経路を復元できるかどうかを評価するように設計されている。 実験により、あいまいさの検出と効果的な明確化は異なる能力であり、明確化を求める代わりに繰り返し検索することが直接推測よりも悪いことが示されている。
  論文  参考訳（メタデータ） (2026-06-26T02:57:15Z)
• Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration [66.89521868638815]
  我々は,LLM生成の解明質問が下流の深層探索ユーティリティを改善するかどうかを評価するベンチマークであるClarify-Then-Searchを紹介する。 Baidu検索エンジンの実際のクエリデータに基づいて構築されたこのベンチマークには、518のキュレートされたインスタンスが含まれている。 静的な金に対して部分的にクレジットされた重み付きナゲット・リコールスコアであるrepure_score_100を用いて、エンドツーエンドのユーティリティをスコアする。
  論文  参考訳（メタデータ） (2026-06-17T13:16:31Z)
• LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know? [32.434901767447165]
  LLMベースの検索エージェントは、外部の証拠よりも本質的な知識に依存している。 LiveBrowseCompは、固有のカバレッジ以上のエージェントを評価するために設計されたベンチマークである。 評価されたすべてのエージェントは、クローズドブックの精度を2%以下に抑え、検索強化されたスコアは、BrowseCompと比較して25～40ポイント減少し、以前のモデルランキングは、もはやパフォーマンスを確実に予測することができない。
  論文  参考訳（メタデータ） (2026-05-27T16:39:57Z)
• To Search or Not to Search: Aligning the Decision Boundary of Deep Search Agents via Causal Intervention [61.82680155643223]
  我々は,不整合決定境界の根本原因を同定し,蓄積した情報が回答するのに十分であるかどうかをしきい値に判定する。 これにより、過剰探索(十分な知識にもかかわらず冗長探索)と過度探索(早期終了)が誤った答えをもたらす。 まず,境界誤差を識別する因果的介入に基づく診断手法を提案する。 第2に,Deep Search Agent(DAS)のための決定境界アライメントを開発する。 我々のDAS法はこれらの境界を効果的に校正し、オーバーサーチとアンダーサーチの両方を緩和し、精度と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-02-03T09:29:06Z)
• AdaSearch: Balancing Parametric Knowledge and Search in Large Language Models via Reinforcement Learning [61.974530499621274]
  検索への過度な依存は、ノイズや悪意のあるコンテンツに対する不必要なコストとリスクをもたらす。 本稿では,探索を起動するか否かの判断から問題を解き放つ2段階の結果駆動型RLフレームワークを提案する。 AdaSearchは知識境界認識を大幅に改善し、不要な検索コールを削減し、タスクパフォーマンスを強く保ち、透明性と解釈可能な意思決定行動を提供する。
  論文  参考訳（メタデータ） (2025-12-18T18:50:01Z)
• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [92.5712549836791]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• Researchy Questions: A Dataset of Multi-Perspective, Decompositional Questions for LLM Web Agents [22.023543164141504]
  我々は,検索エンジンクエリのデータセットであるResearchy Questionsを紹介した。 クリックやセッションの長さといったシグナルによって,これらの質問に多くの労力が費やされていることを,私たちは示しています。 また、サブクエストへの分解のようなスロー思考の解答技術は、直接解答するよりも有益であることを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。