論文の概要: Towards Unbiased Calibration using Meta-Regularization

• arxiv url: http://arxiv.org/abs/2303.15057v3
• Date: Tue, 25 Jun 2024 11:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 23:19:26.861266
• Title: Towards Unbiased Calibration using Meta-Regularization
• Title（参考訳）: メタレギュラー化による不偏校正に向けて
• Authors: Cheng Wang, Jacek Golebiowski,
• Abstract要約: 2つのコンポーネントを持つメタ正則化により、より良い校正モデルを学ぶことを提案する。 ニューラルネットワークを3つのコンピュータビジョンデータセット上で改善し、偏りのないキャリブレーションに正規化するための提案手法の有効性を評価する。
• 参考スコア（独自算出の注目度）: 6.440598446802981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model miscalibration has been frequently identified in modern deep neural networks. Recent work aims to improve model calibration directly through a differentiable calibration proxy. However, the calibration produced is often biased due to the binning mechanism. In this work, we propose to learn better-calibrated models via meta-regularization, which has two components: (1) gamma network (gamma-net), a meta learner that outputs sample-wise gamma values (continuous variable) for Focal loss for regularizing the backbone network; (2) smooth expected calibration error (SECE), a Gaussian-kernel based, unbiased, and differentiable surrogate to ECE that enables the smooth optimization of gamma-Net. We evaluate the effectiveness of the proposed approach in regularizing neural networks towards improved and unbiased calibration on three computer vision datasets. We empirically demonstrate that: (a) learning sample-wise gamma as continuous variables can effectively improve calibration; (b) SECE smoothly optimizes gamma-net towards unbiased and robust calibration with respect to the binning schemes; and (c) the combination of gamma-net and SECE achieves the best calibration performance across various calibration metrics while retaining very competitive predictive performance as compared to multiple recently proposed methods.
• Abstract（参考訳）: モデル誤校正は、現代のディープニューラルネットワークで頻繁に確認されている。 最近の研究は、微分可能なキャリブレーションプロキシを通じてモデルキャリブレーションを直接改善することを目的としている。 しかしながら、生成するキャリブレーションは、双晶機構によってしばしばバイアスを受ける。 本研究では,(1)ガンマネットワーク(ガンマネット)と,(2)ガンマネットのスムーズな最適化を実現するガンマネットワーク(ガンマネット)と,(2)ガンマネットのスムーズな最適化を実現するガンマネットワーク(ガンマネット)をベースとしたスムーズなキャリブレーション誤差(SECE)の2つのコンポーネントからなるメタレギュラライゼーションにより,より良いキャリブレーションモデルを学習することを提案する。 ニューラルネットワークを3つのコンピュータビジョンデータセット上で改善し、偏りのないキャリブレーションに正規化するための提案手法の有効性を評価する。 私たちはそれを実証的に示します。 (a)連続変数としてのサンプルワイドガンマの学習は校正を効果的に改善することができる。 (b)SECEは、結合スキームに関して、ガンマネットを不偏で堅牢な校正に向けて円滑に最適化し、 (c)ガンマネットとSECEの組み合わせは、最近提案された手法と比較して非常に競争力のある予測性能を維持しつつ、様々なキャリブレーション指標で最高のキャリブレーション性能を達成する。

関連論文リスト

• Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference [37.82259435084825]
  適切に校正されたAIモデルは、その精度を分布内入力(ID)に正しく報告し、また、分布外入力(OOD)の検出を可能にする必要がある。 本稿では、キャリブレーション正則化を統合した変分推論(VI)に基づくベイズ学習の拡張を提案する。
  論文  参考訳（メタデータ） (2024-04-17T13:08:26Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
  本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。 我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。 その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T22:13:10Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  視覚言語モデル(VLM)におけるOOD精度と校正誤差の両方を改善する頑健な微調整法を提案する。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Meta-Calibration: Learning of Model Calibration Using Differentiable Expected Calibration Error [46.12703434199988]
  我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。 また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-17T15:47:50Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Combining Ensembles and Data Augmentation can Harm your Calibration [33.94335246681807]
  アンサンブルとデータ拡張を組み合わせることで、モデルのキャリブレーションを損なう可能性がある。 我々は,アンサンブルやデータ拡張のみを個別に使用することよりも,精度とキャリブレーションの利得を高い精度で達成し,両世界のベストを達成できる簡単な補正を提案する。
  論文  参考訳（メタデータ） (2020-10-19T21:25:22Z)
• Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning [8.780958735684958]
  ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。 近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。 類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-23T15:31:59Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。