論文の概要: Calibration Attention: Instance-wise Temperature Scaling for Vision Transformers

• arxiv url: http://arxiv.org/abs/2508.08547v1
• Date: Tue, 12 Aug 2025 01:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.265779
• Title: Calibration Attention: Instance-wise Temperature Scaling for Vision Transformers
• Title（参考訳）: 校正注意:視覚変換器のインスタンスワイド温度スケーリング
• Authors: Wenhao Liang, Wei Emma Zhang, Lin Yue, Miao Xu, Olaf Maennel, Weitong Chen,
• Abstract要約: CalAttn は ViT の CLS トークンから直接適応型/インスタンスごとの温度を学習するドロップインモジュールである。 ViT-224、DeiT、Swinではキャリブレーションエラーを最大4倍削減し、0.1%のパラメータを追加している。
• 参考スコア（独自算出の注目度）: 16.957071012748454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probability calibration is critical when Vision Transformers are deployed in risk-sensitive applications. The standard fix, post-hoc temperature scaling, uses a single global scalar and requires a held-out validation set. We introduce Calibration Attention (CalAttn), a drop-in module that learns an adaptive, per-instance temperature directly from the ViT's CLS token. Across CIFAR-10/100, MNIST, Tiny-ImageNet, and ImageNet-1K, CalAttn reduces calibration error by up to 4x on ViT-224, DeiT, and Swin, while adding under 0.1 percent additional parameters. The learned temperatures cluster tightly around 1.0, in contrast to the large global values used by standard temperature scaling. CalAttn is simple, efficient, and architecture-agnostic, and yields more trustworthy probabilities without sacrificing accuracy. Code: [https://github.com/EagleAdelaide/CalibrationAttention-CalAttn-](https://github.com/EagleAdelaide/CalibrationAttention-CalAttn-)
• Abstract（参考訳）: リスクに敏感なアプリケーションにビジョントランスフォーマーがデプロイされる場合、確率校正は重要である。 標準的な修正は、ホット後の温度スケーリングであり、単一のグローバルスカラーを使用し、保留の検証セットを必要とする。 本稿では,ViT の CLS トークンから直接適応温度を学習するドロップインモジュールである Calibration Attention (CalAttn) を紹介する。 CIFAR-10/100、MNIST、Tiny-ImageNet、ImageNet-1K全体で、CalAttnはViT-224、DeiT、Swinでキャリブレーションエラーを最大4倍削減し、さらに0.1%のパラメータを追加している。 学習した温度は、標準温度スケーリングで使用される大域的な値とは対照的に、1.0付近に密集している。 CalAttnは単純で効率的でアーキテクチャに依存しないため、精度を犠牲にすることなく信頼性の高い確率が得られる。 コード: [https://github.com/EagleAdelaide/CalibrationAttention-CalAttn-](https://github.com/EagleAdelaide/CalibrationAttention-CalAttn-)

関連論文リスト

• Can a calibration metric be both testable and actionable? [11.056629967114272]
  ここでは,カットオフエラーが期待誤差と距離誤差のギャップを埋めることを示す。 また,ポストホックキャリブレーション法の効果についても検討した。
  論文  参考訳（メタデータ） (2025-02-27T07:50:24Z)
• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• ForeCal: Random Forest-based Calibration for DNNs [0.0]
  我々はランダム森林に基づく新しいポストホックキャリブレーションアルゴリズムであるForeCalを提案する。 ForeCalはランダム森林の2つのユニークな特性を生かしている。 ForeCal は,AUC が測定した基準の識別力に最小限の影響を与え,予測誤差(ECE) で既存手法より優れることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:56:41Z)
• On Calibration of Modern Quantized Efficient Neural Networks [79.06893963657335]
  キャリブレーションの質は、量子化の質を追跡するために観察される。 GhostNet-VGGは、低い精度で全体的なパフォーマンス低下に対して最も堅牢であることが示されている。
  論文  参考訳（メタデータ） (2023-09-25T04:30:18Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• A Stitch in Time Saves Nine: A Train-Time Regularizing Loss for Improved Neural Network Calibration [12.449806152650657]
  信頼性と精度の多クラス差(MDCA)という,新たな補助的損失関数を提案する。 MDCAを用いたトレーニングは,画像分類やセグメンテーションタスクにおける予測誤差(ECE)と静的誤差(SCE)の観点から,より良い校正モデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-03-25T18:02:13Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Tent: Fully Test-time Adaptation by Entropy Minimization [77.85911673550851]
  モデルは、テスト中に新しいデータや異なるデータに一般化するように適応する必要があります。 この完全なテスト時間適応の設定では、モデルはテストデータとそれ自身のパラメータしか持たない。 実験エントロピー最小化(tent): 予測のエントロピーによって測定された信頼度に対するモデルを最適化する。
  論文  参考訳（メタデータ） (2020-06-18T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。