論文の概要: One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence
- arxiv url: http://arxiv.org/abs/2607.28317v1
- Date: Thu, 30 Jul 2026 14:52:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.613613
- Title: One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence
- Title（参考訳）: エージェント1人、$N$エージェント:LLMエージェントフリートに対する監査予算配分
- Abstract要約: 一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。
我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
- 参考スコア（独自算出の注目度）: 41.99844472131922
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A single human must audit $N$ LLM agents under a budget of $B \ll N$ audits per round, guided by self-reported confidence that may be adversarially miscalibrated and by correlated errors. We model this as budgeted noisy inspection over a two-level Gaussian copula and locate the miscalibration threshold $δ^*$ past which confidence-ranked auditing is \emph{worse} than random. Two a-priori expectations reverse: $δ^*$ \emph{rises} as the budget shrinks, and cross-family correlation is not low---shared difficulty dominates lineage. Five open-weight LLMs show operationally useless (near-constant) confidence, point estimates at or beyond the flip though CIs straddle it; a proprietary model is informative and lands below it. We give a quantitative criterion for \emph{vacuous} oversight, and replaying policies on recorded traces confirms the ordering.
- Abstract（参考訳）: 1人の人間が1ラウンド当たり$B \ll N$監査の予算で$N$ LLMエージェントを監査しなければならない。
我々はこれを、2段階のガウス的コーパス上の騒音検査としてモデル化し、信頼度の高い監査がランダムではなく「emph{worse}」であるような誤校正しきい値であるδ^*$過去を特定する。
予算が縮小するにつれて、$δ^*$ \emph{rises} という2つの a-priori 期待が逆転する。
5つのオープンウェイトLCMは、運用上無益な(ほぼ一貫した)信頼、CIが相次いでいるもののフリップの点推定、あるいはそれを超える点推定を示します。
我々は,emph{vacuous} oversightの量的基準を与え,記録されたトレースに対するポリシーの再生が注文を確認した。
関連論文リスト
- Which Model Is Actually Serving You? IRIS: Budgeted Black-Box Auditing of Model Substitution and Routing Dilution in LLM Gateways [6.964275075635626]
返却されたテキストのみを必要とする監査である$mathrmIRIS$を提示します。
安価なパイロットは指数的なクエリエラーの崩壊に適合し、疑わしいクエリが発行される前にその予算を凍結する。
$mathrmIRIS$ match or beats detection on shared task, and adapt allocationss the matched-budget target-hit rate from 7,3$% to 8,7$%。
論文 参考訳（メタデータ） (2026-07-23T02:32:08Z) - Is Fairness Truly Fair? Towards Reliable Lipschitz Fairness in Multi-Task Learning via Fixed-\texorpdfstring{$δ$}{delta} Alignment [0.32792728203318305]
リプシッツ様式の個人公正は、意味論的に類似した例が同様の予測を受けるべきだという考えを定式化する。
本稿では,各モデルの表現距離から監査耐性を導出した場合,異なるセマンティックしきい値の下で異なるアルゴリズムを比較する。
トレーニング時間制御正規化から評価時間固定値の監査を分離する信頼性対応フレームワークである textbfReLiF を提案する。
論文 参考訳（メタデータ） (2026-06-09T09:36:54Z) - Probing Routing-Conditional Calibration in Attention-Residual Transformers [17.576884726604902]
内部ルーティングトレースは、しばしば予測の信頼性を示すために使用される。
これらの痕跡は、信頼性を超えたポストホックキャリブレーションの安定したルーティング固有の証拠を提供していない。
信頼のみのキャパシティを制御に含めると、ルーティングプロファイルが同等のパフォーマンスを達成することを示す。
この設定は、一致した信頼、帯域幅、容量、置換制御が共通の欠点を除外するまで、内部状態のキャリブレーションとして読むべきではない。
論文 参考訳（メタデータ） (2026-05-11T01:06:25Z) - Measuring the Unmeasurable: Markov Chain Reliability for LLM Agents [0.7161783472741748]
エージェントの実行トレースをMarkovチェーンに適合させる再現可能なパイプラインである textscTraceToChain を提示する。
パイプラインは自動クラスタ分類を構築し、Laplace-smoothed maximum-likelihood Estimation (MLE) による遷移を推定し、複合的なAkaike Information criterion (AIC) と Kolmogorov-Smirnov (KS) に適合する。
結果として得られたファーストパスビューは、通常別々に報告されるメトリクスを再構成する: pass$$k$, pass$k$, and the reliability decay curve (RDC) is projections of one。
論文 参考訳（メタデータ） (2026-04-27T15:05:45Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - LLM-as-Judge on a Budget [35.393598355979385]
多武装バンディット理論と濃度不等式を利用する原理的分散適応アプローチを提案する。
本アルゴリズムは, 最悪値推定誤差が$tildeOleft(sqrtfracsum_i=1K_i2Bright)$であることを示す。
emphSummarize-From-Feedback と emphHelpSteer2 の実験により,本手法が一様アロケーションを著しく上回ることを示した。
論文 参考訳（メタデータ） (2026-02-17T10:35:41Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳（メタデータ） (2025-10-07T14:46:12Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳（メタデータ） (2024-04-04T02:31:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。