Fugu-MT 論文翻訳(概要): Agentic Confidence Calibration

論文の概要: Agentic Confidence Calibration

arxiv url: http://arxiv.org/abs/2601.15778v1
Date: Thu, 22 Jan 2026 09:08:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-23 21:37:20.554038
Title: Agentic Confidence Calibration
Title（参考訳）: エージェント信頼度校正
Authors: Jiaxin Zhang, Caiming Xiong, Chien-Sheng Wu,
Abstract要約: Holistic Trajectory (HTC)はAIエージェントの新しい診断フレームワークである。 HTCはキャリブレーションと差別の両方において、強力なベースラインを一貫して超えている。 HTCは、障害の背後にあるシグナルを明らかにすることによって、解釈可能性を提供する。
参考スコア（独自算出の注目度）: 67.50096917021521
License: http://creativecommons.org/licenses/by/4.0/
Abstract: AI agents are rapidly advancing from passive language models to autonomous systems executing complex, multi-step tasks. Yet their overconfidence in failure remains a fundamental barrier to deployment in high-stakes settings. Existing calibration methods, built for static single-turn outputs, cannot address the unique challenges of agentic systems, such as compounding errors along trajectories, uncertainty from external tools, and opaque failure modes. To address these challenges, we introduce, for the first time, the problem of Agentic Confidence Calibration and propose Holistic Trajectory Calibration (HTC), a novel diagnostic framework that extracts rich process-level features ranging from macro dynamics to micro stability across an agent's entire trajectory. Powered by a simple, interpretable model, HTC consistently surpasses strong baselines in both calibration and discrimination, across eight benchmarks, multiple LLMs, and diverse agent frameworks. Beyond performance, HTC delivers three essential advances: it provides interpretability by revealing the signals behind failure, enables transferability by applying across domains without retraining, and achieves generalization through a General Agent Calibrator (GAC) that achieves the best calibration (lowest ECE) on the out-of-domain GAIA benchmark. Together, these contributions establish a new process-centric paradigm for confidence calibration, providing a framework for diagnosing and enhancing the reliability of AI agents.
Abstract（参考訳）: AIエージェントは、受動的言語モデルから、複雑なマルチステップタスクを実行する自律システムへと、急速に進歩しています。しかし、彼らの失敗に対する過度な自信は、ハイステークな環境でのデプロイメントの基本的な障壁であり続けています。既存のキャリブレーション手法は、静的な単一ターン出力のために構築されており、軌道に沿ったエラーの複合化、外部ツールの不確実性、不透明な障害モードといったエージェントシステムのユニークな課題に対処できない。これらの課題に対処するために、エージェント信頼度校正の問題を初めて紹介し、エージェントの全軌道にわたってマクロダイナミクスからマイクロ安定性までの豊富なプロセスレベルの特徴を抽出する新しい診断フレームワークであるHolistic Trajectory Calibration (HTC)を提案する。シンプルで解釈可能なモデルによってパワーアップされたHTCは、キャリブレーションと差別の両方において、8つのベンチマーク、複数のLLM、多様なエージェントフレームワークにおいて、強力なベースラインを一貫して越えている。パフォーマンス以外にも、HTCは3つの重要な進歩を提供している: 障害の背後にある信号を明らかにすることによって解釈可能性を提供し、再トレーニングせずにドメインをまたいで適用することで転送可能性を可能にし、ドメイン外のGAIAベンチマークで最高のキャリブレーション(最も低いECE)を達成するGeneral Agent Calibrator (GAC)を通じて一般化する。これらのコントリビューションは、信頼性キャリブレーションのための新しいプロセス中心のパラダイムを確立し、AIエージェントの診断と信頼性向上のためのフレームワークを提供する。

関連論文リスト

Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文参考訳（メタデータ） (2026-01-22T07:16:26Z)
AI-NativeBench: An Open-Source White-Box Agentic Benchmark Suite for AI-Native Systems [52.65695508605237]
我々は、Model Context Protocol(MCP)とAgent-to-Agent(A2A)標準に基づいて、アプリケーション中心でホワイトボックスのAI-NativeベンチマークスイートであるAI-NativeBenchを紹介する。エージェントスパンを分散トレース内の第一級市民として扱うことにより,本手法は,単純な機能以上の工学的特性の粒度解析を可能にする。この研究は、モデル能力の測定から信頼性の高いAI-Nativeシステムへの移行を導く最初の体系的な証拠を提供する。
論文参考訳（メタデータ） (2026-01-14T11:32:07Z)
The Confidence Dichotomy: Analyzing and Mitigating Miscalibration in Tool-Use Agents [24.482362292984817]
大規模言語モデル(LLM)は、マルチターンタスクを処理するために急速に進化している。信頼の確保は依然として重要な課題である。キャリブレーション(キャリブレーション)とは、エージェントが実際のパフォーマンスを確実に反映する自信を表現する能力のこと。
論文参考訳（メタデータ） (2026-01-12T07:10:35Z)
AgentDevel: Reframing Self-Evolving LLM Agents as Release Engineering [8.201374511929538]
AgentDevelは、現行のエージェントを反復的に実行するリリースエンジニアリングパイプラインである。実行トレースから実装盲の症状レベルの品質信号を生成する。主要な症状パターンを集約し、監査可能なエンジニアリング仕様を生成する。
論文参考訳（メタデータ） (2026-01-08T05:49:01Z)
Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
論文参考訳（メタデータ） (2025-12-23T03:10:09Z)
Refine and Align: Confidence Calibration through Multi-Agent Interaction in VQA [8.879640496857661]
本稿では,視覚質問応答のための議論ベースのマルチエージェントフレームワークAlignVQAを紹介する。よりキャリブレーションされた特殊エージェントは、より整合性のある信頼性を生み出す。また、特殊エージェントを微調整するために、アライメントカルと呼ばれる、識別可能なキャリブレーション対応損失関数も導入した。
論文参考訳（メタデータ） (2025-11-14T11:08:21Z)
An Agentic Framework with LLMs for Solving Complex Vehicle Routing Problems [66.60904891478687]
複雑な車両ルーティング問題を解決するために,LLM (AFL) を用いたエージェントフレームワークを提案する。 AFLは生の入力から知識を直接抽出し、自己完結型コード生成を可能にする。 AFLは、コード信頼性とソリューション実現性の両方において、既存のLCMベースのベースラインを大幅に上回っていることを示す。
論文参考訳（メタデータ） (2025-10-19T03:59:25Z)
Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
論文参考訳（メタデータ） (2025-10-16T05:35:37Z)
Conformal Calibration: Ensuring the Reliability of Black-Box AI in Wireless Systems [36.407171992845456]
この論文は、計算量的に軽量で高度な統計ツールを採用することによって、芸術の状態を超越した一般的なフレームワークであるコンフォーマルキャリブレーションをレビューする。コンフォーマルキャリブレーションをAIモデルライフサイクルに織り込むことで、ネットワークオペレータは、ブラックボックスAIモデルの信頼性を、無線システムの信頼性の高い実現技術として確立することができる。
論文参考訳（メタデータ） (2025-04-12T19:05:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。