論文の概要: ACLS: Adaptive and Conditional Label Smoothing for Network Calibration

• arxiv url: http://arxiv.org/abs/2308.11911v2
• Date: Thu, 24 Aug 2023 06:35:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 10:38:37.593508
• Title: ACLS: Adaptive and Conditional Label Smoothing for Network Calibration
• Title（参考訳）: ACLS:適応型および条件付きラベル平滑化によるネットワーク校正
• Authors: Hyekang Park, Jongyoun Noh, Youngmin Oh, Donghyeon Baek, Bumsub Ham
• Abstract要約: ネットワークキャリブレーションに対する多くのアプローチでは、正規化項を利用した正規化に基づく手法が採用されている。 本稿では,既存の正規化に基づく手法の詳細な分析を行い,それらがネットワークキャリブレーションに与える影響についてより深く理解する。 本稿では,既存の正規化手法の利点を統一し,制約を回避し,新たな損失関数ACLSを導入する。
• 参考スコア（独自算出の注目度）: 30.80635918457243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of network calibration adjusting miscalibrated confidences of deep neural networks. Many approaches to network calibration adopt a regularization-based method that exploits a regularization term to smooth the miscalibrated confidences. Although these approaches have shown the effectiveness on calibrating the networks, there is still a lack of understanding on the underlying principles of regularization in terms of network calibration. We present in this paper an in-depth analysis of existing regularization-based methods, providing a better understanding on how they affect to network calibration. Specifically, we have observed that 1) the regularization-based methods can be interpreted as variants of label smoothing, and 2) they do not always behave desirably. Based on the analysis, we introduce a novel loss function, dubbed ACLS, that unifies the merits of existing regularization methods, while avoiding the limitations. We show extensive experimental results for image classification and semantic segmentation on standard benchmarks, including CIFAR10, Tiny-ImageNet, ImageNet, and PASCAL VOC, demonstrating the effectiveness of our loss function.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワークの信頼度を補正するネットワークキャリブレーションの問題に対処する。 ネットワークキャリブレーションに対する多くのアプローチでは、正規化項を利用した正規化に基づく手法が採用されている。 これらのアプローチはネットワークのキャリブレーションの有効性を示しているが、ネットワークキャリブレーションの観点からは、レギュライゼーションの基本原理に対する理解が不足している。 本稿では,既存の正規化に基づく手法の詳細な解析を行い,ネットワークキャリブレーションへの影響について理解を深める。 特に私たちが観察したのは 1)正規化に基づく手法はラベル平滑化の変種と解釈できる。 2)必ずしも好ましく振る舞うとは限らない。 この分析に基づいて,既存の正規化手法の利点を統一し,制約を回避する新たな損失関数ACLSを導入する。 CIFAR10, Tiny-ImageNet, ImageNet, PASCAL VOCなど, 標準ベンチマークにおける画像分類とセマンティックセマンティックセマンティックセマンティクスの広範な実験結果を示し, 損失関数の有効性を示した。

関連論文リスト

• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• An Uncertainty-Aware Pseudo-Label Selection Framework using Regularized Conformal Prediction [0.0]
  Pseudo-labeling (PL)は汎用的でドメインに依存しないSSLアプローチである。 PLは低校正モデルからの誤った高信頼予測により性能が低下する。 本稿では,不確実性を考慮した擬似ラベル選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T17:13:30Z)
• Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes [2.5782420501870296]
  本稿では,各反復後のコミュニティ割り当ての後部をハードしきい値にすることで,変分推論法を改善するための簡易な方法を提案する。 提案手法は,ネットワークの平均ノード次数が有界であっても,真のコミュニティラベルを収束させ,正確に復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-12T00:24:54Z)
• Calibrating Segmentation Networks with Margin-based Label Smoothing [19.669173092632]
  現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 これらの損失は、ロジット距離に等しい制約を課す線形ペナルティの近似と見なすことができる。 我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
  論文  参考訳（メタデータ） (2022-09-09T20:21:03Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Sparsity Aware Normalization for GANs [32.76828505875087]
  GAN(Generative adversarial Network)は、トレーニング中の批判的(差別的)ネットワークの正規化または正規化の恩恵を受けることが知られている。 本稿では,一般のスペクトル正規化スキームを分析し,有意な欠点を見つけ,GANトレーニングの安定化のための新たなアプローチであるスパーシャリティ認識正規化(SAN)を導入する。
  論文  参考訳（メタデータ） (2021-03-03T15:05:18Z)
• Improved Trainable Calibration Method for Neural Networks on Medical Imaging Classification [17.941506832422192]
  経験的に、ニューラルネットワークは、しばしば彼らの予測を誤解し、過度に信ずる。 本稿では,モデルキャリブレーションを大幅に改善しつつ,全体の分類精度を維持する新しいキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2020-09-09T01:25:53Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
  近年、ニューラルネットワークの校正に関する研究が急増している。 負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。 基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-23T07:55:10Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks [54.23874144090228]
  一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。 以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。 本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-15T12:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。