Fugu-MT 論文翻訳(概要): Single-Query Black-Box Calibration Auditing via Logit Bias

論文の概要: Single-Query Black-Box Calibration Auditing via Logit Bias

arxiv url: http://arxiv.org/abs/2609.05125v1
Date: Fri, 04 Sep 2026 13:24:52 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-07 18:15:24.054903
Title: Single-Query Black-Box Calibration Auditing via Logit Bias
Title（参考訳）: Logit Biasによる単一クエリブラックボックス校正
Abstract要約: logit_biasパラメータを公開する任意のAPIを数学的に操作して正確な確率閾値を評価することを実証する。二元問題に対するTrue Errorの新しい一貫した推定器を導入する。
参考スコア（独自算出の注目度）: 6.958336861495603
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Evaluating the calibration of Large Language Models (LLMs) is critical for their safe deployment as zero-shot classifiers. Yet, commercial API providers increasingly hide the continuous output probabilities required by standard calibration metrics. To bypass this opacity, we demonstrate that any LLM API exposing a logit\_bias parameter can be mathematically manipulated to evaluate exact probability thresholds using strictly one query per sample. Leveraging this mechanism, we introduce a novel and provably consistent estimator of the True Calibration Error for binary tasks. Our approach therefore provides an efficient framework for auditing black-box foundation models.
Abstract（参考訳）: ゼロショット分類器として安全な配置を行うためには,LLM(Large Language Models)の校正評価が重要である。しかし、商用APIプロバイダは、標準キャリブレーションメトリクスによって要求される継続的な出力確率を隠蔽する傾向にある。この不透明性を回避するために,logit\_bias パラメータを露出する LLM API を数学的に操作して,サンプルごとの厳密なクエリを用いて正確な確率閾値を評価できることを実証する。この機構を応用し、二元問題に対するTrue Calibration Errorの新規かつ確実に一貫した推定器を導入する。そこで本手法は,ブラックボックス基礎モデルの監査を行うための効率的なフレームワークを提供する。

関連論文リスト

Discovery of Hidden Miscalibration Regimes [52.452902154360565]
モデルは何らかの入力を体系的に過信し、他人を過信することがある。対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
論文参考訳（メタデータ） (2026-05-13T13:07:50Z)
Unsupervised Confidence Calibration for Reasoning LLMs from a Single Generation [2.526814143603023]
言語モデルの推論は、ますます複雑なタスクを解決することができるが、信頼性の高いデプロイメントに必要なキャリブレーションされた信頼推定を生成するのに苦労する。推論時間に1世代しか利用できない場合,LLMを推論するための教師なし信頼度校正手法を提案する。このアプローチでは、ラベル付きデータのオフラインサンプリングを使用して、自己整合性ベースのプロキシターゲットを導出し、この信号を軽量なデプロイメント時間信頼性予測器に蒸留する。
論文参考訳（メタデータ） (2026-04-21T13:25:25Z)
IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。 IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
論文参考訳（メタデータ） (2026-02-26T07:21:02Z)
On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文参考訳（メタデータ） (2026-02-14T01:07:45Z)
Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test [24.393978712663618]
APIプロバイダは、コスト削減やモデル動作の不正な変更のために、量子化または微調整の亜種を慎重に提供することができる。そこで我々は,ブラックボックスLLMの挙動等式を局所的に展開した認証モデルに検証できるランクベース均一性試験を提案する。我々は、量子化、有害な微調整、脱獄プロンプト、完全なモデル置換など、さまざまな脅威シナリオに対するアプローチを評価する。
論文参考訳（メタデータ） (2025-06-08T03:00:31Z)
Beyond One-Hot Labels: Semantic Mixing for Model Calibration [22.39558434131574]
textbfCalibration-aware Semantic Mixing (CSM) は、クラス特性の混合したトレーニングサンプルを生成する新しいフレームワークである。我々はCSMが最先端のキャリブレーション手法よりも優れたキャリブレーションを実現することを示す。
論文参考訳（メタデータ） (2025-04-18T08:26:18Z)
Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文参考訳（メタデータ） (2025-04-07T03:57:41Z)
Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
論文参考訳（メタデータ） (2025-01-02T22:26:54Z)
Calibrating Verbalized Probabilities for Large Language Models [7.586709509332433]
単語化確率の校正は,ブラックボックス大言語モデルからの出力を確実に評価し,活用するための新しいアプローチを示す。近年の手法では,LLMの信頼性スコアにプラットスケーリングや温度スケーリングなどの手法を適用し,キャリブレーションの改善が示されている。
論文参考訳（メタデータ） (2024-10-09T09:20:24Z)
Few-Shot Recalibration of Language Models [23.829795148520834]
我々は、任意のスライスからラベルのない例をいくつか取り込んだリカレーションモデルをトレーニングし、信頼度スコアをそのスライスに対してより正確なものに再マップする曲線を予測する。我々の訓練されたモデルは、そのスライスからラベル付きデータを使わずに、任意の新しいスライスのために再調整できる。実験により、我々の数発の再校正器は既存の校正方法より一貫して優れていることが示された。
論文参考訳（メタデータ） (2024-03-27T06:25:40Z)
Modular Conformal Calibration [80.33410096908872]
回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。我々は17の回帰データセットに対するMCCの実証的研究を行った。
論文参考訳（メタデータ） (2022-06-23T03:25:23Z)
Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文参考訳（メタデータ） (2021-02-22T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。