論文の概要: Calibration vs Decision Making: Revisiting the Reliability Paradox in Unlearned Language Models

• arxiv url: http://arxiv.org/abs/2605.20915v1
• Date: Wed, 20 May 2026 08:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.584906
• Title: Calibration vs Decision Making: Revisiting the Reliability Paradox in Unlearned Language Models
• Title（参考訳）: 校正対意思決定:未学習言語モデルにおける信頼性パラドックスの再検討
• Authors: Divyaksh Shukla, Ashutosh Modi,
• Abstract要約: 本研究では,TOFUベンチマークを用いた複数選択質問応答評価プロトコルを用いて,生成言語モデルのギャップについて検討する。 微調整モデルでは,事前学習モデルと比較してキャリブレーション誤差が低い(ECE 0.04)。 未学習後のモデルも同様に低いキャリブレーションを保ちながら、忘れ分割の精度は低下する。
• 参考スコア（独自算出の注目度）: 15.63775421273161
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine unlearning aims to remove the influence of specific training data from a model while preserving reliable behavior on the remaining data, making reliable prediction and uncertainty estimation essential for evaluation. Calibration is commonly used as a proxy for reliability in language models, but low calibration error does not necessarily imply reliable decision rules, as models may rely on spurious correlations while remaining well calibrated. We investigate this gap in generative language models using the multiple-choice question-answering evaluation protocol on the TOFU benchmark, measuring probabilistic reliability with calibration metrics (ECE, MCE, Brier) and decision-rule reliability via attribution-based shortcut detection with Integrated Gradients and Local Mutual Information. We find that fine-tuned models achieve low calibration error (ECE ~ 0.04) compared to pretrained models (ECE > 0.5), and models after unlearning retain similarly low calibration despite reduced accuracy on the forget split, while attribution analysis shows increased reliance on correlation-based tokens. These results demonstrate that good calibration can coexist with shortcut-based decision rules after unlearning, extending the reliability paradox to the machine unlearning setting.
• Abstract（参考訳）: マシン・アンラーニングは、モデルから特定のトレーニングデータの影響を除去し、残りのデータに対する信頼性のある行動を保存することを目的としており、信頼性の高い予測と不確実性推定が評価に不可欠である。 キャリブレーションは言語モデルにおける信頼性のプロキシとして一般的に使用されるが、低いキャリブレーション誤差は必ずしも信頼性の高い決定規則を示唆するものではない。 本稿では,TOFUベンチマークを用いた複数選択質問応答評価プロトコルを用いた生成言語モデルのギャップについて検討し,キャリブレーション指標(ECE, MCE, Brier)を用いた確率的信頼性と,統合的グラディエントと局所的相互情報を用いた属性ベースショートカット検出による決定ルール信頼性について検討する。 微調整モデルでは, 事前学習モデル (ECE > 0.5) と比較して, 低校正誤差 (ECE ~ 0.04) が得られ, 未学習後のモデルも同様に低校正を保ったままである。 これらの結果から, 信頼性パラドックスを機械的アンラーニング環境に拡張することにより, 良好な校正がショートカットに基づく決定規則と共存できることが示唆された。

関連論文リスト

• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Enhancing accuracy of uncertainty estimation in appearance-based gaze tracking with probabilistic evaluation and calibration [13.564919425738163]
  外見に基づく視線追跡の不確実性は、信頼性の高い下流アプリケーションを保証するために重要である。 現在の不確実性認識アプローチでは、トレーニングデータセット内の分布に従って不確実性を取得する確率論的モデルを採用している。 トレーニングされたモデルの不確かさを推定する際のバイアスを軽減するために,確率校正に基づく補正戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-24T19:33:55Z)
• The Reliability Paradox: Exploring How Shortcut Learning Undermines Language Model Calibration [5.616884466478886]
  プレトレーニング言語モデル(PLM)は、自然言語処理の分野で大きなパフォーマンス向上を実現している。 近年の研究では、PLMは誤校正に悩まされており、これらのモデルによる信頼度推定の精度の欠如が示唆されている。 本稿では,低校正誤差が言語モデルの信頼性決定ルールを意味するか否かを考察する。
  論文  参考訳（メタデータ） (2024-12-17T08:04:28Z)
• Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors [22.39558434131574]
  モデルキャリブレーションの代替視点として一貫性の概念を導入する。 本稿では,入力間の一貫性に基づいて信頼度を調整する,一貫性(CC)と呼ばれるポストホックキャリブレーション手法を提案する。 また,ロジットレベルでの摂動は計算効率を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-10-16T06:55:02Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。