論文の概要: Confidence Reasoning Graphs: Structured Confidence Estimation for LLM Agents

• arxiv url: http://arxiv.org/abs/2610.07948v1
• Date: Tue, 06 Oct 2026 08:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.895502
• Title: Confidence Reasoning Graphs: Structured Confidence Estimation for LLM Agents
• Title（参考訳）: 信頼推論グラフ:LLMエージェントの構造的信頼推定
• Abstract要約: エージェントの軌道の不均一なステップに成功に関する証拠が分散しているため、エージェントの信頼度推定は困難である。 本稿では,エージェントが単一軌道からタスクを遂行する確率を推定する推論時フレームワークであるCRG(Confidence Reasoning Graphs)を紹介する。 CRGは、言語化、サンプリングベース、ホワイトボックスのサロゲートベースラインよりも、より良いキャリブレーションの信頼とリスク認識の意思決定をもたらす。
• 参考スコア（独自算出の注目度）: 17.24988687989227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When using an LLM agent in a consequential domain, making an informed decision about whether to trust its output or intervene requires calibrated confidence in the agent's success. Confidence estimation for agents is difficult because evidence about success is distributed across heterogeneous, interdependent steps of an agent's trajectory. Practical agentic deployments introduce further challenges: frontier LLMs often provide limited access to internal signals, agent roll-outs are costly, and training data may be unavailable or quickly become outdated. To address these challenges, we introduce Confidence Reasoning Graphs (CRGs), an inference-time framework that estimates the probability an agent accomplished its task from a single trajectory, without privileged model access or training data. Rather than compressing an execution into a single holistic judgment, a CRG begins with the claim that the agent accomplished its task, decomposes it into contextualized sub-claims grounded in trajectory evidence, estimates confidence for each terminal claim, and finally aggregates these into an overall confidence estimate. Across three agentic benchmarks, three backbone models, and three agent frameworks, CRGs yield better-calibrated confidence and stronger risk-aware decision making than verbalized, sampling-based, and white-box surrogate baselines. We further find that calibration error alone can be misleading: a white-box surrogate baseline appears well calibrated while providing near-chance discrimination. Ablations attribute CRG's improvements to claim-level confidence estimation and aggregation rather than graph construction alone. Finally, a CRG exposes the claims and trajectory evidence underlying each confidence estimate, enabling it to be audited at decision time.
• Abstract（参考訳）: 連続的な領域でLLMエージェントを使用する場合、その出力を信頼するか介入するかについての情報決定を行うには、エージェントの成功に対する調整された信頼が必要である。 エージェントの信頼度推定は、エージェントの軌道の異種、相互依存的なステップにまたがって成功の証拠が分散されるため困難である。 フェデラルなLSMは内部信号への限られたアクセスを提供し、エージェントのロールアウトはコストがかかり、トレーニングデータが利用できなくなるか、すぐに時代遅れになる可能性がある。 これらの課題に対処するために、モデルアクセスやトレーニングデータなしでエージェントがタスクを単一軌道から実行した確率を推定する推論時フレームワークであるCRG(Confidence Reasoning Graphs)を導入する。 CRGは、実行を1つの全体論的判断に圧縮するのではなく、エージェントがそのタスクを完了したという主張から始まり、それを軌跡証拠に基づく文脈化されたサブステートに分解し、各端末クレームに対する信頼を推定し、最終的にこれらを総合的な信頼推定に集約する。 3つのエージェントベンチマーク、3つのバックボーンモデル、3つのエージェントフレームワーク、CRGは、言語化、サンプリングベース、ホワイトボックスのサロゲートベースラインよりも、よりキャリブレーションされた信頼性とより強いリスク認識決定をもたらす。 さらに、キャリブレーション誤差だけでは誤解を招く可能性があることが判明した: ホワイトボックスのサロゲートベースラインは、近チャンス判別を提供しながら、適切にキャリブレーションされているように見える。 Ablations は CRG の改善をグラフ構築のみでなくクレームレベルの信頼度推定と集約に起因している。 最後に、CRGは、信頼度推定の基礎となる主張と軌道証拠を公開し、決定時に監査できるようにする。

関連論文リスト

• GLIDE: Generalized Layer-wise Intrinsic Distributional Evaluation for Heterogeneous LLM Agents [11.225427879489155]
  LLMエージェントは、候補分岐を比較し、計算を効果的に割り当てるために、信頼性の高いステップレベルの評価を必要とする。 LLMエージェントに対するtextbf Generalized textbfLayer-wise textbfIntrinsic textbfDistributional textbfEvaluation (textbfGLIDE)を提案する。
  論文  参考訳（メタデータ） (2026-09-26T06:37:41Z)
• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• FERA: Uncertainty-Aware Federated Reasoning for Large Language Models [60.52562148874846]
  我々は、サーバがプライベートなデモンストレーションを行う異種クライアントと協調することで、多段階推論を改善するフェデレーション推論について研究する。 重要な課題は、クライアントの信頼性がクエリ依存であるのに対して、サーバはクライアントデータを検査して、どのコントリビューションが信頼できるかを判断できません。 本稿では,サーバクライアントの反復的コリファインメントに基づくトレーニングフリーフレームワークである Uncertainty-Aware Federated Reasoning (FERA) を提案する。
  論文  参考訳（メタデータ） (2026-05-11T07:04:51Z)
• Agentic Confidence Calibration [67.50096917021521]
  Holistic Trajectory (HTC)はAIエージェントの新しい診断フレームワークである。 HTCはキャリブレーションと差別の両方において、強力なベースラインを一貫して超えている。 HTCは、障害の背後にあるシグナルを明らかにすることによって、解釈可能性を提供する。
  論文  参考訳（メタデータ） (2026-01-22T09:08:25Z)
• Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation [7.3923284353934875]
  本稿では,大規模言語モデル(LLM)出力の正しさと密接に一致したRAGシステムにおける信頼度推定手法を提案する。 提案手法は、生のフィードフォワードネットワーク(FFN)を自己回帰信号として活用することにより、事前の不確実性定量化手法を拡張した。 我々の結果は、アクティベーションに基づく信頼度モデリングが、信頼性の高いRAGデプロイメントへのスケーラブルでアーキテクチャを意識したパスを提供することを示した。
  論文  参考訳（メタデータ） (2025-10-15T16:55:56Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。