論文の概要: Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks

• arxiv url: http://arxiv.org/abs/2003.06820v2
• Date: Fri, 23 Oct 2020 06:59:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 08:28:23.759984
• Title: Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks
• Title（参考訳）: 多クラスニューラルネットワークのキャリブレーションのためのイントラオーダー保存機能
• Authors: Amir Rahimi, Amirreza Shaban, Ching-An Cheng, Richard Hartley, Byron Boots
• Abstract要約: 一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。 以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。 本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 54.23874144090228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting calibrated confidence scores for multi-class deep networks is important for avoiding rare but costly mistakes. A common approach is to learn a post-hoc calibration function that transforms the output of the original network into calibrated confidence scores while maintaining the network's accuracy. However, previous post-hoc calibration techniques work only with simple calibration functions, potentially lacking sufficient representation to calibrate the complex function landscape of deep networks. In this work, we aim to learn general post-hoc calibration functions that can preserve the top-k predictions of any deep network. We call this family of functions intra order-preserving functions. We propose a new neural network architecture that represents a class of intra order-preserving functions by combining common neural network components. Additionally, we introduce order-invariant and diagonal sub-families, which can act as regularization for better generalization when the training data size is small. We show the effectiveness of the proposed method across a wide range of datasets and classifiers. Our method outperforms state-of-the-art post-hoc calibration methods, namely temperature scaling and Dirichlet calibration, in several evaluation metrics for the task.
• Abstract（参考訳）: 多クラスディープネットワークの校正信頼度を推定することは、稀だがコストのかかる誤りを避けるために重要である。 一般的なアプローチは、ネットワークの精度を維持しつつ、元のネットワークの出力を校正された信頼度スコアに変換するポストホックキャリブレーション関数を学ぶことである。 しかし、従来のポストホックキャリブレーション技術は単純なキャリブレーション機能のみで動作し、深層ネットワークの複雑な機能ランドスケープを校正するのに十分な表現を欠いている可能性がある。 本研究では,どの深層ネットワークでもトップkの予測を保存できる一般的なポストホックキャリブレーション関数を学習することを目的とする。 私たちはこの関数のファミリーを順序保存関数と呼ぶ。 本稿では,ニューラルネットワークの共通成分を組み合わせて順序保存関数のクラスを表現するニューラルネットワークアーキテクチャを提案する。 さらに,訓練データサイズが小さい場合には,より一般化するための正規化として機能する,順序不変および対角部分ファミリを導入する。 提案手法は,幅広いデータセットと分類器において有効であることを示す。 本手法は温度スケーリングやディリクレキャリブレーションといった最先端のポストホックキャリブレーション法よりも,タスクの評価指標として優れている。

関連論文リスト

• Deep Feature Response Discriminative Calibration [37.81540706307031]
  ResNetやSENetのような最適化技術は、モデルの精度を改善するために提案されている。 異なる特徴に対する差別的なキャリブレーションが欠如しているため、モデル出力に制限が生じる。 特徴応答を識別的に分類する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-16T10:48:32Z)
• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Multi-Head Multi-Loss Model Calibration [13.841172927454204]
  我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。 具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。 その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T09:32:32Z)
• Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration [62.4971588282174]
  我々はニューラルクランプ法と呼ばれる新しい後処理キャリブレーション法を提案する。 実験の結果,Neural Clampingは最先端の処理後のキャリブレーション法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-23T14:18:39Z)
• On Calibration of Graph Neural Networks for Node Classification [29.738179864433445]
  グラフニューラルネットワークは、ノード分類やリンク予測といったタスクのためのエンティティとエッジの埋め込みを学ぶ。 これらのモデルは精度で優れた性能を発揮するが、予測に付随する信頼性スコアは校正されないかもしれない。 本稿では,近隣ノードを考慮に入れたトポロジ対応キャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2022-06-03T13:48:10Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
  近年、ニューラルネットワークの校正に関する研究が急増している。 負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。 基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-23T07:55:10Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。