論文の概要: Uncertainty Quantification for LLM Agents: A Taxonomy, an Evaluation Protocol, and an Empirical Study

• arxiv url: http://arxiv.org/abs/2609.07395v1
• Date: Mon, 07 Sep 2026 12:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 00:29:51.250884
• Title: Uncertainty Quantification for LLM Agents: A Taxonomy, an Evaluation Protocol, and an Empirical Study
• Title（参考訳）: LLMエージェントの不確かさの定量化:分類学、評価プロトコル、実証的研究
• Abstract要約: 大きな言語モデルは、計画し、ツールを呼び、エビデンスを取得し、記憶を維持し、長い地平線上で相互作用するエージェントとして機能する。 LLMの不確かさの定量化に関する既存の研究は、ほとんど完全に単ターンの質問応答のために構築された。 本稿では,複数回会話や環境,ツールの誤りや不確実性は,単回質問応答設定からではなく,複数回会話から生じると論じる。
• 参考スコア（独自算出の注目度）: 5.818268354990671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are no longer deployed only for single-turn conversation but increasingly act as agents that plan, call tools, retrieve evidence, maintain memory, and interact over long horizons, often together with other agents through multi-turn conversations. Therefore, knowing when to trust the agentic system is a prerequisite for safe deployment. However, existing work on quantifying uncertainty for LLMs was built almost entirely for single-turn question answering. This paper argues that errors and uncertainty arise from multi-turn conversations, environments, and tools rather than from a single-turn question answering setting. It comes late, however, and is compounded in a single score that is too coarse to represent the unreliability. We organize the literature with a three-axis taxonomy, (1) what the uncertainty is, (2) how it is estimated, and (3) where uncertainty arises during an agent pipeline. We investigate step-level and trajectory-level calibration and show with a simple counterexample that the first does not imply the second. Experiments on real agent traces across four models and up to a 50-step budget show that the proposed metric and reporting protocol (Trajectory-Checkpoint Expected Calibration Error, TC-ECE) can be computed and that step errors are coupled along a trajectory. We find that confidence estimates from the agent's own responses do not consistently outperform a simple baseline. The experiments also show that averaging all trajectories together can hide overconfidence at later stages, which becomes visible when results are analyzed across different horizons. In simpler terms, this paper identifies where the uncertainty comes from in the agentic system pipeline, how to teach agents to know when they are wrong, and why one confidence number is not enough.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、もはやシングルターン会話にのみデプロイされるのではなく、計画、ツール呼び出し、エビデンス検索、メモリの維持、長い地平線上での相互作用など、多ターン会話を通じて他のエージェントと協調するエージェントとしての役割を担っている。 したがって、エージェントシステムをいつ信頼するかを知ることは、安全な配置の前提条件である。 しかし、LLMの不確かさの定量化に関する既存の研究は、ほぼ完全に単ターン質問応答のために構築された。 本稿では,複数回会話や環境,ツールの誤りや不確実性は,単回質問応答設定からではなく,複数回会話から生じると論じる。 しかし、それは遅くなり、信頼性の低い1つのスコアで合成される。 我々は,(1)不確実性,(2)その推定方法,(3)エージェントパイプライン中に不確実性が発生した場合の3軸分類を用いて,文献を整理する。 ステップレベルと軌道レベルのキャリブレーションを調査し,第1は第2を含まない単純な逆例で示す。 4つのモデルにまたがる実エージェントのトレースと50段階の予算の実験により、提案したメトリックおよびレポートプロトコル(Trajectory-Checkpoint expected Calibration Error, TC-ECE)が計算され、ステップエラーが軌道に沿って結合されることを示す。 エージェント自身の応答からの信頼度推定は、単純なベースラインを一貫して上回るものではない。 実験では、全ての軌道を平均化することで、後段で過信を隠蔽し、異なる地平線で結果が分析されると見えなくなることも示されている。 本稿では,エージェントシステムパイプラインにおける不確実性がどこから来ているのか,エージェントがいつ間違っているのか,なぜ自信数が不十分なのか,といった点について述べる。

関連論文リスト

• MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents [74.83535434786145]
  MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。 生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
  論文  参考訳（メタデータ） (2026-08-31T16:05:39Z)
• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• CoMet: Context and Multiplicity Decomposition for Multimodal Uncertainty Estimation [45.629365817272536]
  不確実性推定は、AIモデルにおける長年にわたる課題である。 本研究では,不確実性を文脈固有項と乗法固有項に分解したMLLM不確実性推定手法であるCoMetを提案する。 我々は,これらの量を評価するために軽量なポストホック不確実性モジュールを訓練し,自動回帰応答生成や繰り返しサンプリングを行うことなく,効率的な不確実性推定を可能にする。
  論文  参考訳（メタデータ） (2026-06-30T17:46:09Z)
• Ask the World Before Acting: Environment Probing for Calibrated Agent World Models [2.571318992830046]
  長い地平線に作用する言語エージェントは、ツール状態、オブジェクト位置、グラフエッジ、サブゴール依存関係に関する信念を維持する必要がある。 我々は、構造化エージェントワールドモデルのための予算決定問題として環境探索を定式化する。 EnvProbeは、タスククリティカル性、安定化性、言語化された不確実性、依存性の役割を組み合わせた単純なスコアリングポリシーです。
  論文  参考訳（メタデータ） (2026-06-30T09:45:49Z)
• Multiagent Protocols with Aggregated Confidence Signals [7.128020779227392]
  信頼は、自然言語処理(NLP)における信頼性、監視、および下流決定タスクに使用される。 以前の作業では、メッセージの重み付け、議論のトリガー、個々のエージェントの校正に、マルチエージェント討論(MAD)内での信頼性を使用していた。 まず、まず、生の信頼信号を変換してモデル間で比較し、ソフト投票や確率融合によって組み合わせることで、最終的な回答を生成する3つのプロトコルを紹介します。
  論文  参考訳（メタデータ） (2026-06-11T17:12:11Z)
• Causal Agent Replay: Counterfactual Attribution for LLM-Agent Failures [0.0]
  Causal Agent Replay (CAR) は、エージェントが構造的因果モデルとして実行されることをモデル化する。 ステップにダブルオペレーションを適用し、同じポリシーの下で軌道を再実行します。 CARはオープンソースで、ホストまたはフリーのローカルモデルで動作する。
  論文  参考訳（メタデータ） (2026-06-06T17:44:23Z)
• The Alpha Illusion: Reported Alpha from LLM Trading Agents Should Not Be Treated as Deployment Evidence [23.772113719172896]
  エンド・ツー・エンドのLLMトレーディングエージェントからのシャープ比率の報告は、配備証拠として扱われてはならない。 レポートの堅牢性はトレーダブルな確率ではなく、物語の推論は数値的な実行ではない。
  論文  参考訳（メタデータ） (2026-05-16T09:14:35Z)
• Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
  本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。 LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。 長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-05-12T02:37:04Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• AI Knows What's Wrong But Cannot Fix It: Helicoid Dynamics in Frontier LLMs Under High-Stakes Decisions [51.56484100374058]
  ヘリコイド力学(Helicoid dynamics)は、その2番目のドメインの特定の障害状態に与えられる名前である。 システムは巧みに働き、エラーに陥り、何がうまくいかなかったかを正確に名付け、さらに高度な技術で同じパターンを再現する。 この先進的な事例シリーズは、7つの主要なシステムにまたがる体制を文書化する。
  論文  参考訳（メタデータ） (2026-03-12T05:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。