論文の概要: Confidence Calibration with Bounded Error Using Transformations

• arxiv url: http://arxiv.org/abs/2102.12680v1
• Date: Thu, 25 Feb 2021 04:40:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-26 13:48:19.975133
• Title: Confidence Calibration with Bounded Error Using Transformations
• Title（参考訳）: 変換を用いた境界誤差による信頼キャリブレーション
• Authors: Sooyong Jang, Radoslav Ivanov, Insup lee, and James Weimer
• Abstract要約: キャリブレーション誤差(CE)に理論的拘束力を持つ新しいキャリブレーションアルゴリズムであるHokiを紹介する。 hokiは、複数のデータセットやモデルで最先端のキャリブレーションアルゴリズムよりも優れています。 加えて、Hokiは学習時間の点で温度スケーリングに匹敵する高速アルゴリズムである。
• 参考スコア（独自算出の注目度）: 4.278591555984394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine learning techniques become widely adopted in new domains, especially in safety-critical systems such as autonomous vehicles, it is crucial to provide accurate output uncertainty estimation. As a result, many approaches have been proposed to calibrate neural networks to accurately estimate the likelihood of misclassification. However, while these methods achieve low expected calibration error (ECE), few techniques provide theoretical performance guarantees on the calibration error (CE). In this paper, we introduce Hoki, a novel calibration algorithm with a theoretical bound on the CE. Hoki works by transforming the neural network logits and/or inputs and recursively performing calibration leveraging the information from the corresponding change in the output. We provide a PAC-like bounds on CE that is shown to decrease with the number of samples used for calibration, and increase proportionally with ECE and the number of discrete bins used to calculate ECE. We perform experiments on multiple datasets, including ImageNet, and show that the proposed approach generally outperforms state-of-the-art calibration algorithms across multiple datasets and models - providing nearly an order or magnitude improvement in ECE on ImageNet. In addition, Hoki is fast algorithm which is comparable to temperature scaling in terms of learning time.
• Abstract（参考訳）: 機械学習の技術が新しい領域、特に自動運転車などの安全クリティカルなシステムで広く採用されるにつれて、正確な出力不確実性推定を提供することが重要です。 その結果,誤分類の可能性を正確に推定するために,ニューラルネットワークの校正手法が提案されている。 しかし、これらの手法は低いキャリブレーション誤差(ECE)を達成する一方で、キャリブレーション誤差(CE)に関する理論的性能保証を提供する技術はほとんどない。 本論文では,CEに理論的境界を持つ新しいキャリブレーションアルゴリズムであるHokiについて紹介する。 Hokiは、ニューラルネットワークのロジットや入力を変換し、出力の対応する変更からの情報を活用するキャリブレーションを再帰的に実行する。 校正に用いるサンプルの数が減少し、ECEと比例して増加し、ECEの計算に用いる離散ビンの数が増加することが示されるCE上のPAC様境界を提供する。 ImageNetを含む複数のデータセットで実験を行い、提案手法が一般的に、複数のデータセットやモデルにわたる最先端のキャリブレーションアルゴリズムよりも優れていることを示す。 加えて、Hokiは学習時間の点で温度スケーリングに匹敵する高速アルゴリズムである。

関連論文リスト

• Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors [22.39558434131574]
  モデルキャリブレーションの代替視点として一貫性の概念を導入する。 本稿では,入力間の一貫性に基づいて信頼度を調整する,一貫性(CC)と呼ばれるポストホックキャリブレーション手法を提案する。 また,ロジットレベルでの摂動は計算効率を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-10-16T06:55:02Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• ForeCal: Random Forest-based Calibration for DNNs [0.0]
  我々はランダム森林に基づく新しいポストホックキャリブレーションアルゴリズムであるForeCalを提案する。 ForeCalはランダム森林の2つのユニークな特性を生かしている。 ForeCal は,AUC が測定した基準の識別力に最小限の影響を与え,予測誤差(ECE) で既存手法より優れることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:56:41Z)
• Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
  本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。 我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。 その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T22:13:10Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Soft Calibration Objectives for Neural Networks [40.03050811956859]
  そこで本研究では,一般的なキャリブレーションエラー推定器のソフト(連続)バージョンに基づくキャリブレーション改善のための差別化可能な損失を提案する。 トレーニングに組み込むと、これらのソフトキャリブレーション損失は、1%未満の精度で、複数のデータセットにまたがる最先端の単一モデルECEを実現する。
  論文  参考訳（メタデータ） (2021-07-30T23:30:20Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning [8.780958735684958]
  ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。 近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。 類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-23T15:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。