論文の概要: Calibrating a Deep Neural Network with Its Predecessors

• arxiv url: http://arxiv.org/abs/2302.06245v1
• Date: Mon, 13 Feb 2023 10:33:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 15:56:21.153468
• Title: Calibrating a Deep Neural Network with Its Predecessors
• Title（参考訳）: 前駆体を用いたディープニューラルネットワークの校正
• Authors: Linwei Tao, Minjing Dong, Daochang Liu, Changming Sun, Chang Xu
• Abstract要約: ネットワークの早期停止の限界について検討し,各ブロックを考慮したオーバーフィッティング問題を解析する。 キャリブレーションを改善するために,新しい正規化手法である先行組合せ探索(PCS)を提案する。 PCSは、複数のデータセットとアーキテクチャ上で最先端のキャリブレーション性能を達成する。
• 参考スコア（独自算出の注目度）: 39.3413000646559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Confidence calibration - the process to calibrate the output probability distribution of neural networks - is essential for safety-critical applications of such networks. Recent works verify the link between mis-calibration and overfitting. However, early stopping, as a well-known technique to mitigate overfitting, fails to calibrate networks. In this work, we study the limitions of early stopping and comprehensively analyze the overfitting problem of a network considering each individual block. We then propose a novel regularization method, predecessor combination search (PCS), to improve calibration by searching a combination of best-fitting block predecessors, where block predecessors are the corresponding network blocks with weight parameters from earlier training stages. PCS achieves the state-of-the-art calibration performance on multiple datasets and architectures. In addition, PCS improves model robustness under dataset distribution shift.
• Abstract（参考訳）: 信頼度校正 - ニューラルネットワークの出力確率分布を校正するプロセス - は、そのようなネットワークの安全性クリティカルな応用には不可欠である。 最近の研究は誤校正と過度適合の関連を検証している。 しかし、オーバーフィッティングを緩和する有名な手法として、早期停止はネットワークの校正に失敗する。 本研究では,各ブロックを考慮したネットワークの早期停止の限界について検討し,そのオーバーフィッティング問題を包括的に解析する。 そこで我々は,ブロック前駆体が対応するネットワークブロックであり,初期訓練段階からの重みパラメータを持つような,最適なブロック前駆体の組み合わせを探索することでキャリブレーションを改善する,新しい正規化手法であるPCSを提案する。 PCSは、複数のデータセットとアーキテクチャ上で最先端のキャリブレーション性能を達成する。 さらに、PCSはデータセットの分散シフトの下でモデルの堅牢性を改善する。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• ACLS: Adaptive and Conditional Label Smoothing for Network Calibration [30.80635918457243]
  ネットワークキャリブレーションに対する多くのアプローチでは、正規化項を利用した正規化に基づく手法が採用されている。 本稿では,既存の正規化に基づく手法の詳細な分析を行い,それらがネットワークキャリブレーションに与える影響についてより深く理解する。 本稿では,既存の正規化手法の利点を統一し,制約を回避し,新たな損失関数ACLSを導入する。
  論文  参考訳（メタデータ） (2023-08-23T04:52:48Z)
• Efficient Uncertainty Quantification and Reduction for Over-Parameterized Neural Networks [23.7125322065694]
  不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。 統計学的に保証されたスキームを作成し、主に、過剰パラメータ化ニューラルネットワークの不確実性である、エンフェラクタライズし、エンフェレモーブする。 特に,PNC予測器(Procedural-noise-correcting, Procedural-noise-correcting, PNC)に基づくアプローチでは,適切なラベル付きデータセットでトレーニングされたEmphone補助ネットワークのみを用いることで,手続き的不確実性を取り除く。
  論文  参考訳（メタデータ） (2023-06-09T05:15:53Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
  既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。 これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。 我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-10T23:28:36Z)
• Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
  近年、ニューラルネットワークの校正に関する研究が急増している。 負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。 基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-23T07:55:10Z)
• Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks [54.23874144090228]
  一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。 以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。 本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-15T12:57:21Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。