論文の概要: Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities
- arxiv url: http://arxiv.org/abs/2610.03894v1
- Date: Fri, 02 Oct 2026 18:09:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:31:45.590952
- Title: Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities
- Title（参考訳）: プロキシ信頼:サロゲートのログ確率によるブラックボックスLDMエージェントの監査
- Abstract要約: デプロイされたエージェントは、ツールコール、クエリ、およびサイレントに間違っている可能性のあるコードを出力する。
低コストのオープンウェイトサロゲートを並列に動作させることにより,損失信号の回収を行う。
エージェントと同じコンテキスト、スキーマ、提案されたアクションを読み取って、自身のログ確率からコールをスコアする。
- 参考スコア（独自算出の注目度）: 2.332848751256598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A deployed LLM agent emits tool calls, queries, and code that can be silently wrong -- by the time the error surfaces, the action has run. Frontier chat APIs hide the model's token probabilities; the agent's stated confidence barely beats chance on the mistakes that matter; and resampling does not help, since frontier models are highly repetitive, reproducing the same call across samples. We recover the missing signal from a low-cost open-weight surrogate run in parallel. It reads the same context, schema, and proposed action as the agent, then scores the call from its own log-probabilities through a family of complementary readouts: teacher forcing and request-PMI weigh the likelihood of each argument value, a discriminative verdict judges the call as a whole, and tool-choice competition tests the function against its siblings. One principle says which to trust: a generative likelihood localizes wrong argument values, while the verdict catches holistically wrong calls. When the error type is unknown, an ensemble is the low-regret default. The readout is training-free, needs no access to the agent's internals, and costs one prefill pass alongside the tool call. On difficult coding tasks it reaches AUROC 0.825 where the actor's stated confidence is near chance (0.598), and the generative readouts beat it by +0.07 to +0.28 across three further actors. Against self-consistency it gains +0.14 to +0.19 on near-deterministic actors, at 1/K the cost. The signal drives two deployment modes: a real-time gate escalating the least-trustworthy calls for review (+0.05 to +0.30 accepted-action accuracy at 50% coverage), and confidence feedback, returning the tool result with the score so the agent adapts its next step -- lifting task success on live-execution benchmarks (+0.119 and +0.137, p <= 1e-4) and beating a random-value control where step errors are silent (+0.078, p = 0.003).
- Abstract（参考訳）: デプロイされたLLMエージェントは、ツールコール、クエリ、およびサイレントに間違っている可能性のあるコードを出力する。
フロンティアチャットAPIはモデルのトークン確率を隠蔽する;エージェントの主張する自信は、問題となるミスに対してほとんどチャンスを負わない;そして再サンプリングは、フロンティアモデルが非常に反復的であり、サンプル間で同じ呼び出しを再現するので、役に立たない。
低コストのオープンウェイトサロゲートを並列に動作させることにより,損失信号の回収を行う。
エージェントと同じコンテキスト、スキーマ、提案されたアクションを読み取って、補完的な読み出しのファミリを通じて、自身のログ確率から呼び出しをスコアする: 教師の強制と要求-PMIは、各引数値の可能性を重み付けし、差別的な判断は、呼び出し全体を判断し、ツール選択競争は、その兄弟に対して関数をテストする。
生成可能性(generative likely)は間違った引数値をローカライズするが、判定は不当に間違った呼び出しをキャッチする。
エラータイプが不明な場合、アンサンブルは低レベルのデフォルト値である。
リードアウトはトレーニング不要で、エージェントの内部へのアクセスは不要で、ツールコールと同時に1回のプリフィルパスがかかる。
難しいコーディング作業では、アクターの自信が近いAUROC 0.825に到達し(0.598)、生成的読み出しは3人以上のアクターに対して+0.07から+0.28に打ち勝つ。
自己整合性に対して、ほぼ決定論的アクターでは+0.14から+0.19となり、コストは1/Kである。
信号は2つのデプロイモードを駆動する: レビューのための最も信頼できない呼び出しをエスカレートするリアルタイムゲート(50%のカバレッジで+0.05から+0.30の受け入れアクション精度)と、信頼性フィードバック、ツール結果にスコアを戻すことで、エージェントがその次のステップに適応する -- ライブ実行ベンチマーク(+0.119、+0.137、p <= 1e-4)でのタスク成功を解除し、ステップエラーがサイレントであるランダム値制御(+0.078、p = 0.003)を打つ。
関連論文リスト
- From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。
本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。
提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
論文 参考訳（メタデータ） (2026-09-29T17:49:07Z) - PRIMUS: Identity, Governance, and Verification for Multi-Agent Federations [0.0]
マルチエージェント・フェデレーションは、敵対的な条件下での3つの質問に答えるガバナンスを必要とする。
本稿では,BLSアグリゲートシグネチャと主パワーIDを結合したPRIMUSについて述べる。
PRIMAのバイナリアーティファクト-忠実性判定は、グレード付きフィットネス信号に変換できるかどうかを問う。
論文 参考訳（メタデータ） (2026-09-07T19:21:49Z) - Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。
複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
論文 参考訳（メタデータ） (2026-09-01T09:08:15Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - Real-Time Detection and Repair of LLM Agent Failures [0.0]
LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。
1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。
システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
論文 参考訳（メタデータ） (2026-08-03T16:34:46Z) - One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。
我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
論文 参考訳（メタデータ） (2026-07-30T14:52:36Z) - When Agents Commit Too Soon: Diagnosing Premature Commitment in LLM Agents [0.0]
長い答えのLSMエージェントは静かに失敗する可能性があり、彼らは証拠を早期に読み上げ、残りの期間をその証拠を守るのに費やした。
我々は、表現的コミットメントを、固定された推論ステップにおいて、クロスランな隠れ状態収束として定義する。
ランタイムモニタは、AUROCの隠れ状態から0.97までの不整合軌道を検出する(より厳密なスプリットの下で0.85-0.88)。
論文 参考訳（メタデータ） (2026-06-22T07:13:13Z) - To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents [43.812977635599374]
LLMエージェントは、必要のない状況でも、オーバーコール、呼び出しツールに一貫した傾向を示す。
我々はこれを本態性バイアス仮説(IBH)に辿る。
我々の研究は、経験的現象から因果的補正が可能な機械的対象への過度な呼び出しをリキャストする。
論文 参考訳（メタデータ） (2026-05-16T04:18:30Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference [0.0]
VERDI(verification-Decomposed Inference Inference)は、構造化された裁判官から信頼を抽出する手法である。
VERDIは各評価をサブチェックに分解し、3つの構造信号を導出する。
3つの公開ベンチマークで、VERDIはGPT-4.1-miniでAUROC 0.72-0.91、GPT-5.4-miniで0.66-0.80を達成した。
論文 参考訳（メタデータ） (2026-05-11T23:39:19Z) - MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools [54.63478102768333]
十分に校正されたモデル信頼度は、潜在的な行動の報酬に対するリスクを測るために使用することができる。
本稿では,ツール呼び出し時の信頼度を評価するために,モデル内信頼度推定器(MICE)の新たなクラスを提案する。
論文 参考訳（メタデータ） (2025-04-28T18:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。