論文の概要: Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration

• arxiv url: http://arxiv.org/abs/2602.21368v1
• Date: Tue, 24 Feb 2026 21:03:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.607654
• Title: Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration
• Title（参考訳）: 自己整合サンプリングと整合校正によるAIエージェントのブラックボックス信頼性証明
• Authors: Charafeddine Mouzouni,
• Abstract要約: 信頼性レベル -- システムとタスクのペアあたりの1つの番号 -- で答えます。 自己整合性サンプリングは指数関数的に不確実性を減少させる。 共形キャリブレーションは、ターゲットレベルの1/(n+1)以内の正確性を保証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a black-box AI system and a task, at what confidence level can a practitioner trust the system's output? We answer with a reliability level -- a single number per system-task pair, derived from self-consistency sampling and conformal calibration, that serves as a black-box deployment gate with exact, finite-sample, distribution-free guarantees. Self-consistency sampling reduces uncertainty exponentially; conformal calibration guarantees correctness within 1/(n+1) of the target level, regardless of the system's errors -- made transparently visible through larger answer sets for harder questions. Weaker models earn lower reliability levels (not accuracy -- see Definition 2.4): GPT-4.1 earns 94.6% on GSM8K and 96.8% on TruthfulQA, while GPT-4.1-nano earns 89.8% on GSM8K and 66.5% on MMLU. We validate across five benchmarks, five models from three families, and both synthetic and real data. Conditional coverage on solvable items exceeds 0.93 across all configurations; sequential stopping reduces API costs by around 50%.
• Abstract（参考訳）: ブラックボックスAIシステムとタスクが与えられた場合、実践者がシステムのアウトプットを信頼できる信頼レベルは何だろうか? 信頼性レベル -- 自己整合サンプリングとコンフォメーションキャリブレーションから導かれるシステム-タスクペアあたりの1つの番号 -- は、正確な有限サンプル、分布保証を備えたブラックボックス配置ゲートとして機能する。 自己整合性サンプリングは指数関数的に減少する; 共形キャリブレーションは、システムのエラーにかかわらず、ターゲットレベルの1/(n+1)以内の正しさを保証する -- より難しい質問に対して、より大きな回答セットを通して透過的に見えるようにする。ウィーカーモデルでは、信頼性の低いレベル(正確性ではなく2.4): GPT-4.1は、GSM8Kで94.6%、TruthfulQAで96.8%、GPT-4.1-nanoは、GSM8Kで89.8%、MMLUで66.5%を得る。 5つのベンチマークと3つのファミリーの5つのモデル、および合成データと実データの両方を検証します。 解決可能な項目の条件付きカバレッジは,すべての構成で0.93を超えている。

関連論文リスト

• MultiVer: Zero-Shot Multi-Agent Vulnerability Detection [0.0]
  MultiVerは脆弱性検出のためのゼロショットマルチエージェントシステムであり、微調整なしで最先端のリコールを実現する。 組合投票による4人組のアンサンブルは、PyVulで82.7%のリコールを達成し、微調整のGPT-3.5(81.3%)を1.4ポイント上回った。
  論文  参考訳（メタデータ） (2026-02-19T22:20:17Z)
• CoRefine: Confidence-Guided Self-Refinement for Adaptive Test-Time Compute [10.548368675645403]
  CoRefineは、トークンのごく一部を使って競争精度を達成する自信誘導型自己精製法である。 コントローラはフルトレースの信頼性を消費し、停止するか、再検査するか、あるいは別のアプローチを試すかを決定する。 これをCoRefine-Treeに拡張します。これは、探索とエクスプロイトを適応的にバランスさせる、ハイブリッドなシーケンシャル並列型です。
  論文  参考訳（メタデータ） (2026-02-09T17:44:41Z)
• Agentic Confidence Calibration [67.50096917021521]
  Holistic Trajectory (HTC)はAIエージェントの新しい診断フレームワークである。 HTCはキャリブレーションと差別の両方において、強力なベースラインを一貫して超えている。 HTCは、障害の背後にあるシグナルを明らかにすることによって、解釈可能性を提供する。
  論文  参考訳（メタデータ） (2026-01-22T09:08:25Z)
• Causal Judge Evaluation: Calibrated Surrogate Metrics for LLM Systems [0.29465623430708904]
  未校正スコアは選好を逆転させることができ、未校正スコアに対するナイーブな信頼区間は、ほぼ0%のカバレッジを獲得し、重要度重み付け推定器は、限られた重複の下で崩壊する。 3つの障害を全て解決するフレームワークであるCausal Judge Evaluationを紹介します。
  論文  参考訳（メタデータ） (2025-12-11T22:16:24Z)
• Annotation-Efficient Universal Honesty Alignment [70.05453324928955]
  既存の手法では、トレーニングなしの信頼度推定や、正当性アノテーションによるトレーニングベースキャリブレーションに頼っている。 Elicitation-Then-Calibration (EliCal) は、まず安価な自己整合性監視を用いて内部信頼を引き出す2段階のフレームワークである。 EliCalは1kの正当性アノテーション(全監督の0.18%)でほぼ最適アライメントを実現し、キャリブレーションのみのベースラインよりも目立たないMMLUタスクでのアライメント性能が向上した。
  論文  参考訳（メタデータ） (2025-10-20T13:05:22Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• A Confidence-Diversity Framework for Calibrating AI Judgement in Accessible Qualitative Coding Tasks [0.0]
  信頼性の多様性の校正は、アクセス可能なコーディングタスクの品質評価フレームワークである。 8つの最先端のLCMから5,680のコーディング決定を分析すると、自信はモデル間の合意を密接に追跡する。
  論文  参考訳（メタデータ） (2025-08-04T03:47:10Z)
• The Confidence Paradox: Can LLM Know When It's Wrong [5.445980143646736]
  Document Visual Question Answering (DocVQA)モデルは、しばしば過信または倫理的に不一致な応答を生成する。 重み付き損失とコントラスト学習を用いてモデルの信頼度と正しさを一致させるモデルに依存しない自己教師型フレームワークであるHonestVQAを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:06:54Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)
• Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation [70.27452774899189]
  大規模言語モデル(LLM)は、ユーザを誤解させるのではなく、不正な例に対して低い信頼を示さなければならない。 2023年11月現在、最先端のLLMはこれらの確率へのアクセスを提供していない。 言語的信頼度と代理モデル確率を構成する最良の方法は、12データセットすべてに対して最先端の信頼度推定を与える。
  論文  参考訳（メタデータ） (2023-11-15T11:27:44Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。