論文の概要: Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models

• arxiv url: http://arxiv.org/abs/2609.24881v2
• Date: Tue, 22 Sep 2026 17:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.664264
• Title: Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models
• Title（参考訳）: Pinocchio: Black-Box言語モデルの高速不確実性推定
• Abstract要約: ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。 我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
• 参考スコア（独自算出の注目度）: 73.50370994588927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In high-stakes decision-making applications of large language models (LLMs), practitioners require not only accurate LLMs but also uncertainty estimates for their predictions. Existing approaches to uncertainty estimation for LLMs require access to log-probabilities output by the model or require fine-tuning access. However, many industrial LLM products use closed-source API models, and many such API models like GPT do not return log-probabilities and may not allow fine-tuning. We introduce Pinocchio, an external calibrator that estimates the correctness of responses from black-box API models. Trained jointly on responses from seven LLMs, it achieves 0.862 AUROC predicting the correctness of held-out responses from those same models, and shows zero-shot transfer to thirteen unseen models across eight organizations. Our model needs only a single forward pass to generate an uncertainty estimate and requires no access to the target model's logits, weights, or internal states. A lightweight text only 0.8B checkpoint matches our largest model's AUROC. We release code for adding uncertainty estimation to existing repos in only two additional lines of code.
• Abstract（参考訳）: 大規模言語モデル(LLM)の高精度な意思決定アプリケーションでは、実践者は正確なLLMだけでなく、予測に対する不確実性の推定も要求する。 LLMの既存の不確実性推定へのアプローチでは、モデルによって出力されるログ確率にアクセスするか、微調整アクセスを必要とする。 しかし、多くの産業用LLM製品はクローズドソースAPIモデルを使用しているため、GPTのような多くのAPIモデルはログ確率を返さず、微調整を許さない可能性がある。 ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。 7つのLDMからの反応を共同で訓練し、0.862 AUROCでそれらのモデルからの保留応答の正しさを予測し、8つの組織で13の未確認モデルにゼロショット転送を示す。 我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。 ライトウェイトテキストのみ0.8Bチェックポイントは、私たちの最大のモデルであるAUROCと一致します。 既存のリポジトリに不確実性評価を追加するためのコードを2行追加のコードでリリースします。

関連論文リスト

• Knowledge Boundary Probing and Demand-Guided Intervention for LLM-Based Power System Code Generation [8.136015158683694]
  電力系統のコード生成におけるファーストパス障害は, 幻覚関数名, 誤用パラメータ, 不正処理結果表など, 構造化されたAPI知識境界によって支配されていることを示す。 我々は,自然言語演算子クエリとパンダパワーコードと数値基底真理を組み合わせた実行検証ベンチマークジェネレータPowerCodeBenchを紹介する。 また、モデルごとのAPI知識プロファイルを測定するL0-L3ドキュメンテーション駆動のプロファイリング手順も導入する。
  論文  参考訳（メタデータ） (2026-05-29T16:06:34Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Logits are All We Need to Adapt Closed Models [15.227768874282834]
  アプリケーション固有のコンテンツ生成に向けて,ブラックボックス大言語モデルを操るトークンレベルの確率再重み付けフレームワークを提案する。 このようなアクセスが利用可能であれば、迅速なエンジニアリングを超えて、より強力な適応技術を可能にするだろう、と私たちは主張する。
  論文  参考訳（メタデータ） (2025-02-03T22:24:22Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。