論文の概要: Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict

• arxiv url: http://arxiv.org/abs/2610.12360v1
• Date: Thu, 08 Oct 2026 17:25:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.221097
• Title: Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict
• Title（参考訳）: LLMエージェントの重症度評価 : 知識衝突による評価
• Abstract要約: 我々は,タスク実行中の不確実性を認識し,行動し,伝達する意思のあるエージェントを評価することを提案する。 我々はEHを3つの軌道レベルの行動次元(Identify, Solve, Escalate)で操作する。 モデルレベルの介入は、EHを改善することができるが、多くの場合、タスクの正確さを犠牲にすることができる。
• 参考スコア（独自算出の注目度）: 46.14220123523446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When retrieved evidence contradicts an agent's prior beliefs, does it revise its answer, acknowledge uncertainty, or persist with an incorrect conclusion? Existing evaluations of agentic systems focus primarily on task success, offering limited insight into how agents handle such conflicts. We propose to evaluate agents on epistemic humility (EH): the agent's willingness to recognize, act on, and communicate uncertainty during task execution. We operationalize EH through three trajectory-level behavioral dimensions: Identify, Solve, and Escalate (ISE). Through knowledge conflict, situations where the backbone language model's parametric knowledge contradicts the evidence it encounters, or where two contextual sources disagree, we evaluate two conflict settings: (1) controlled conflict and (2) naturally occurring conflict during multi-step agentic execution, each paired with matched no-conflict controls. Evaluating four agents, we find that higher task accuracy does not necessarily correspond to greater epistemic humility: some high-accuracy configurations recognize conflicts during execution but do not communicate unresolved uncertainty in their incorrect final answers. Trajectory-level analysis further reveals that agents frequently detect conflicts in early steps of execution but fail to maintain or resolve them in later steps. Finally, we show that model-level interventions can improve EH, but often at the cost of task accuracy, suggesting that epistemic humility emerges from the interaction among the backbone model, agent harness, and evaluation environment.
• Abstract（参考訳）: 回収された証拠が、エージェントの以前の信念と矛盾する場合、その答えを見直したり、不確実性を確認したり、誤った結論に達したりしますか? エージェントシステムの既存の評価は、主にタスクの成功に焦点を当て、エージェントがそのような競合を処理する方法についての限られた洞察を提供する。 本稿では, 作業遂行中の不確実性を認識し, 行動し, コミュニケーションすることに対するエージェントの意思を評価することを提案する。 我々はEHを3つの軌道レベルの行動次元(Identify, Solve, Escalate (ISE))を通して操作する。 知識衝突を通じて、バックボーン言語モデルのパラメトリック知識が遭遇する証拠と矛盾する状況や、2つの文脈的情報源が一致しない状況において、(1)制御されたコンフリクトと(2)多段階のエージェント実行中に自然に発生するコンフリクトという2つのコンフリクト設定を評価する。 高いタスク精度は,実行中のコンフリクトを認識しつつも,不正確な最終回答で未解決の不確かさを伝達しない,という高精度な構成が存在する。 軌道レベルの分析により、エージェントは実行初期段階の競合を頻繁に検出するが、後続のステップでそれらを維持または解決することができないことが明らかになった。 最後に, モデルレベルの介入はEHを改善することができるが, 作業精度の犠牲が伴う場合が多く, 背骨モデル, エージェントハーネス, 評価環境間の相互作用から, てんかんの湿度が生じることが示唆された。

関連論文リスト

• Sycophancy Undermines Epistemic Vigilance in Cooperative Vision-Language Tasks [29.178207407613403]
  情報非対称な対話型「スポット・ザ・ディファレンス」タスクを提案する。 2つのモデルはそれぞれ1つの画像がプライベートに表示され、画像が同一であるか、そうでないかを会話を通じて判断する必要がある。 彼らは自分のプライベートイメージの重要な証拠をしばしば見落とし、彼らの合意が保証されていない場合でも、彼らの会話のパートナーと同意することに賛成する。
  論文  参考訳（メタデータ） (2026-07-31T16:09:23Z)
• The Deliberative Illusion: Diagnosing Factual Attrition and Stance Homogenization in Multi-Agent LLM Deliberation [68.98390038721963]
  問題クリティカルな事実の最大72%を,マルチエージェントによる議論で消し去ることを示す。 保持された証拠は誤解を招くことなく問題を再構築し、最終的なスタンスをベースモデルに固定し、単一の悪意のあるエージェントが誤った情報を共有コンテキストに注入することができる。 我々は、どの事実、不確実性、正当な不一致が相互作用を生き残るかを測定する評価を求める。
  論文  参考訳（メタデータ） (2026-06-02T02:15:40Z)
• Detecting Is Not Resolving: The Monitoring Control Gap in Retrieval Augmented LLMs [20.59321114618083]
  単一ターン診断はRAGの安全性を体系的に過大評価し、矛盾は安全な解決法とは無関係であり、普遍的な即時修正は存在しないことを示した。 モデルが認識するものと何をするかのギャップは、検索強化されたシステムが高レベルな設定で信頼される前に測定され、クローズされなければならない。
  論文  参考訳（メタデータ） (2026-05-26T15:18:43Z)
• AI Knows What's Wrong But Cannot Fix It: Helicoid Dynamics in Frontier LLMs Under High-Stakes Decisions [51.56484100374058]
  ヘリコイド力学(Helicoid dynamics)は、その2番目のドメインの特定の障害状態に与えられる名前である。 システムは巧みに働き、エラーに陥り、何がうまくいかなかったかを正確に名付け、さらに高度な技術で同じパターンを再現する。 この先進的な事例シリーズは、7つの主要なシステムにまたがる体制を文書化する。
  論文  参考訳（メタデータ） (2026-03-12T05:25:49Z)
• Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict [13.091464232666835]
  大規模言語モデルは文脈知識とパラメトリックメモリの両方を必要とするが、これらの情報源は一致しない。 本稿では,モデルの信念とキュレートされた知識集合との間の不一致を自動的に検出する,モデルに依存しない診断フレームワークを用いて,この問題を考察する。 競合によるパフォーマンス劣化は、タスクの知識依存と相関している。
  論文  参考訳（メタデータ） (2025-06-06T19:20:23Z)
• Rethinking Invariance Regularization in Adversarial Training to Improve Robustness-Accuracy Trade-off [11.836020809561383]
  敵の訓練は、しばしばロバストネスのトレードオフに悩まされ、高いロバストネスを達成することは精度の犠牲となる。 非対称表現正規化逆行訓練(ARAT)を提案する。 ARATは、非対称な不斉損失と停止段階の演算と予測器を組み込み、勾配の衝突を回避し、混合分布問題を解決するためにスプリット・バッチノーム(BN)構造を組み込む。
  論文  参考訳（メタデータ） (2024-02-22T15:53:46Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。