論文の概要: Closing the Calibration Gap in Semantic Caching

• arxiv url: http://arxiv.org/abs/2606.19719v1
• Date: Thu, 18 Jun 2026 02:34:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.614146
• Title: Closing the Calibration Gap in Semantic Caching
• Title（参考訳）: セマンティックキャッシングにおける校正ギャップの閉鎖
• Authors: Aditeya Baral, Radoslav Ralev, Iliya Sotirov Zhechev, Srijith Rajamohan, Jen Agarwal,
• Abstract要約: PR-AUC が最も高いセマンティックキャッシングモデルが動作上で最悪の場合が多いことを示す。 キャッシュ利用レベルの精度を測定するキャッシュ対応指標であるP-CHR(Precision-Cache Hit Ratio)とRetention Rate(Retention Rate)を紹介する。 実験の結果, キャリブレーションギャップはデータスケールではなくトレーニング目標によって制御され, ポストホックキャリブレーションは部分的には閉じていることがわかった。
• 参考スコア（独自算出の注目度）: 0.07456526005219319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic caching cuts LLM inference costs by serving a cached response to semantically similar queries. Standard practice evaluates these systems using PR-AUC, a metric that only measures how well scores rank and ignores whether they are usable at a fixed threshold. We show this mismatch leads to systematically poor deployment choices, as models with the highest PR-AUC are often the worst in operation. We introduce Precision-Cache Hit Ratio (P-CHR) AUC, a cache-aware metric that measures precision across cache utilization levels, and Calibration Retention Rate (CRR), which captures how much offline ranking quality survives at deployment. We decompose the operational gap between offline and deployed quality into a recoverable calibration component and an irreducible structural component fixed by the dataset's positive rate. Our experiments show that the calibration gap is governed by the training objective rather than data scale, and post-hoc calibration only partially closes it. Ultimately, model selection for semantic caching is a calibration problem, not a ranking one, and measuring it is the first step to closing the gap.
• Abstract（参考訳）: セマンティックキャッシュは、セマンティックに類似したクエリに対してキャッシュされた応答を提供することで、LCM推論コストを削減する。 PR-AUC(PR-AUC)は、ランクをどれだけよく測定し、一定の閾値で使用可能なかどうかを無視する指標である。 このミスマッチは、最も高いPR-AUCを持つモデルが運用上で最悪の場合が多いため、システム的に不適切なデプロイメント選択につながることを示す。 本稿では,キャッシュ利用レベルの精度を計測するキャッシュ対応指標であるPrecision-Cache Hit Ratio (P-CHR) AUCと,オフラインのランキング品質がデプロイ時にどれだけ残っているかを検出するCalibration Retention Rate (CRR)を紹介する。 オフラインとデプロイされた品質の間の運用上のギャップを、回復可能なキャリブレーションコンポーネントと、データセットの正の速度で固定された既約構造コンポーネントに分解する。 実験の結果, キャリブレーションギャップはデータスケールではなくトレーニング目標によって制御され, ポストホックキャリブレーションは部分的には閉じていることがわかった。 最終的に、セマンティックキャッシングのモデル選択は、ランキングではなくキャリブレーションの問題であり、ギャップを埋める最初のステップである。

関連論文リスト

• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors [22.39558434131574]
  モデルキャリブレーションの代替視点として一貫性の概念を導入する。 本稿では,入力間の一貫性に基づいて信頼度を調整する,一貫性(CC)と呼ばれるポストホックキャリブレーション手法を提案する。 また,ロジットレベルでの摂動は計算効率を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-10-16T06:55:02Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Threshold-Consistent Margin Loss for Open-World Deep Metric Learning [42.03620337000911]
  画像検索にDeep Metric Learning (DML) で使われている既存の損失は、しばしば非均一なクラス内およびクラス間表現構造に繋がる。 不整合はしばしば、商用画像検索システムを展開する際のしきい値選択過程を複雑にする。 クラス間の動作特性の分散を定量化するOPIS(Operating-Point-Inconsistency-Score)と呼ばれる,新しい分散に基づく尺度を提案する。
  論文  参考訳（メタデータ） (2023-07-08T21:16:41Z)
• Least Square Calibration for Peer Review [18.063450032460047]
  ピアレーティングから上位候補を選択するためのフレキシブルなフレームワーク、すなわち最小二乗キャリブレーション(LSC)を提案する。 本フレームワークは、軽度仮定の下で、ノイズのない線形スコアリング関数の完全校正を確実に行う。 我々のアルゴリズムは、最高評価値に基づいて上位論文を選択するベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2021-10-25T02:40:33Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。