論文の概要: Multi-Head Multi-Loss Model Calibration

• arxiv url: http://arxiv.org/abs/2303.01099v1
• Date: Thu, 2 Mar 2023 09:32:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 15:16:17.034668
• Title: Multi-Head Multi-Loss Model Calibration
• Title（参考訳）: マルチヘッド多損失モデル校正
• Authors: Adrian Galdran, Johan Verjans, Gustavo Carneiro, Miguel A. Gonz\'alez Ballester
• Abstract要約: 我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。 具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。 その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 13.841172927454204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Delivering meaningful uncertainty estimates is essential for a successful deployment of machine learning models in the clinical practice. A central aspect of uncertainty quantification is the ability of a model to return predictions that are well-aligned with the actual probability of the model being correct, also known as model calibration. Although many methods have been proposed to improve calibration, no technique can match the simple, but expensive approach of training an ensemble of deep neural networks. In this paper we introduce a form of simplified ensembling that bypasses the costly training and inference of deep ensembles, yet it keeps its calibration capabilities. The idea is to replace the common linear classifier at the end of a network by a set of heads that are supervised with different loss functions to enforce diversity on their predictions. Specifically, each head is trained to minimize a weighted Cross-Entropy loss, but the weights are different among the different branches. We show that the resulting averaged predictions can achieve excellent calibration without sacrificing accuracy in two challenging datasets for histopathological and endoscopic image classification. Our experiments indicate that Multi-Head Multi-Loss classifiers are inherently well-calibrated, outperforming other recent calibration techniques and even challenging Deep Ensembles' performance. Code to reproduce our experiments can be found at \url{https://github.com/agaldran/mhml_calibration} .
• Abstract（参考訳）: 有意義な不確実性推定を提供することは、臨床における機械学習モデルの展開の成功に不可欠である。 不確実性定量化の中枢的な側面は、モデルキャリブレーション(モデルキャリブレーション)とも呼ばれるモデルの実際の確率と整合した予測を返す能力である。 校正を改善するために多くの方法が提案されているが、深層ニューラルネットワークのアンサンブルを訓練する単純だが高価な手法とは一致しない。 本稿では,深層アンサンブルのコストのかかるトレーニングと推論をバイパスする簡易なセンシング方式を提案するが,キャリブレーション能力は維持する。 この考え方は、ネットワークの終端にある一般的な線形分類器を、異なる損失関数で監督されたヘッドの集合に置き換えて、予測に多様性を強制する。 具体的には、各頭部は重み付きクロスエントロピー損失を最小限に抑えるように訓練されるが、重みは異なる枝間で異なる。 その結果, 病理組織学的および内視鏡的画像分類のための2つの課題データセットにおいて, 精度を犠牲にすることなく, 良好な校正が得られた。 実験の結果,マルチヘッド型マルチロス分類器は本質的によく校正されており,最近の校正技術よりも優れており,Deep Ensemblesの性能にも挑戦していることがわかった。 実験を再現するコードは \url{https://github.com/agaldran/mhml_calibration} で見ることができる。

関連論文リスト

• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Class Adaptive Network Calibration [19.80805957502909]
  ディープネットワークの校正のためのクラス適応ラベル平滑化(CALS)を提案する。 提案手法は,制約付き最適化において確立された手法である拡張ラグランジアンアプローチに基づいて構築される。
  論文  参考訳（メタデータ） (2022-11-28T06:05:31Z)
• Class-wise and reduced calibration methods [0.0]
  キャリブレーションの削減により、元の問題をより単純なものに変換する方法を示す。 第2に,ニューラル崩壊という現象に基づいて,クラスワイドキャリブレーション手法を提案する。 この2つの手法を併用すると、予測とクラスごとの校正誤差を低減する強力なツールであるクラス単位での校正アルゴリズムが実現される。
  論文  参考訳（メタデータ） (2022-10-07T17:13:17Z)
• Calibrating Ensembles for Scalable Uncertainty Quantification in Deep Learning-based Medical Segmentation [0.42008820076301906]
  自動画像解析における不確かさの定量化は、多くのアプリケーションで非常に望まれている。 現在の不確実性定量化アプローチは、高次元実世界の問題ではうまくスケールしない。 本研究では,ディープラーニングモデルのアンサンブルを校正し,不確実な定量化測定を行うための,スケーラブルで直感的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:09:48Z)
• Learning to Learn to Demodulate with Uncertainty Quantification via Bayesian Meta-Learning [59.014197664747165]
  本稿では, よく校正された数パイロット復調器の取得を目的とした変分推論によるベイズ的メタラーニングについて紹介する。 その結果得られたベイズアンサンブルは、復調のためにニューラルネットワークの複数のインスタンスを実行する計算コストにおいて、より良い校正されたソフトな決定を提供する。
  論文  参考訳（メタデータ） (2021-08-02T11:07:46Z)
• Improved Trainable Calibration Method for Neural Networks on Medical Imaging Classification [17.941506832422192]
  経験的に、ニューラルネットワークは、しばしば彼らの予測を誤解し、過度に信ずる。 本稿では,モデルキャリブレーションを大幅に改善しつつ,全体の分類精度を維持する新しいキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2020-09-09T01:25:53Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)
• Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks [54.23874144090228]
  一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。 以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。 本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-15T12:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。