論文の概要: Accurate and Reliable Predictions with Mutual-Transport Ensemble

• arxiv url: http://arxiv.org/abs/2405.19656v1
• Date: Thu, 30 May 2024 03:15:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 18:26:21.603389
• Title: Accurate and Reliable Predictions with Mutual-Transport Ensemble
• Title（参考訳）: 相互輸送アンサンブルによる精度・信頼性予測
• Authors: Han Liu, Peng Cui, Bingning Wang, Jun Zhu, Xiaolin Hu,
• Abstract要約: Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化 MTEは精度と不確実性の両方を同時に向上させることができる。 例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
• 参考スコア（独自算出の注目度）: 46.368395985214875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) have achieved remarkable success in a variety of tasks, especially when it comes to prediction accuracy. However, in complex real-world scenarios, particularly in safety-critical applications, high accuracy alone is not enough. Reliable uncertainty estimates are crucial. Modern DNNs, often trained with cross-entropy loss, tend to be overconfident, especially with ambiguous samples. To improve uncertainty calibration, many techniques have been developed, but they often compromise prediction accuracy. To tackle this challenge, we propose the ``mutual-transport ensemble'' (MTE). This approach introduces a co-trained auxiliary model and adaptively regularizes the cross-entropy loss using Kullback-Leibler (KL) divergence between the prediction distributions of the primary and auxiliary models. We conducted extensive studies on various benchmarks to validate the effectiveness of our method. The results show that MTE can simultaneously enhance both accuracy and uncertainty calibration. For example, on the CIFAR-100 dataset, our MTE method on ResNet34/50 achieved significant improvements compared to previous state-of-the-art method, with absolute accuracy increases of 2.4%/3.7%, relative reductions in ECE of $42.3%/29.4%, and relative reductions in classwise-ECE of 11.6%/15.3%.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、特に予測精度に関して、様々なタスクにおいて顕著な成功を収めている。 しかし、特に安全クリティカルなアプリケーションにおいて、複雑な現実世界のシナリオでは、高い精度だけでは不十分である。 信頼性の高い不確実性評価が不可欠である。 現代のDNNは、しばしばクロスエントロピー損失で訓練され、特にあいまいなサンプルで過信される傾向にある。 不確実性の校正を改善するため、多くの技術が開発されているが、予測精度を損なうことがしばしばある。 この課題に対処するため、我々は `mutual-transport ensemble' (MTE) を提案する。 提案手法は, 共学習補助モデルを導入し, 一次モデルと補助モデルの予測分布間のKL偏差を用いて, クロスエントロピー損失を適応的に正則化する。 提案手法の有効性を検証するため,様々なベンチマークについて広範な研究を行った。 その結果,MTEは精度と不確実性の両方を同時に向上させることができることがわかった。 例えば、CIFAR-100データセットでは、我々のResNet34/50のMTE法は、従来の最先端手法に比べて大幅に改善され、絶対精度は2.4%/3.7%、ECEの相対低下は42.3%/29.4%、クラスワイズECEの相対低下は11.6%/15.3%であった。

関連論文リスト

• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Reliable Multimodal Trajectory Prediction via Error Aligned Uncertainty Optimization [11.456242421204298]
  よく校正されたモデルでは、不確実性推定はモデル誤差と完全に相関する。 本稿では,モデル誤差に整合した品質不確実性推定を導出するための,新しい誤差整合不確実性最適化手法を提案する。 本研究では, 平均変位誤差を1.69%, 4.69%, モデル誤差との不確実性相関を17.22%, 19.13%, ピアソン相関係数で定量化することにより, 平均変位誤差を1.69%, 4.69%改善することを示した。
  論文  参考訳（メタデータ） (2022-12-09T12:33:26Z)
• Three Learning Stages and Accuracy-Efficiency Tradeoff of Restricted Boltzmann Machines [5.33024001730262]
  制限付きボルツマンマシン(RBM)は教師なし機械学習のための汎用アーキテクチャを提供する。 トレーニングや最終的な応用には、正確かつ効率的なサンプル装置を持つことが望ましい。 独立学習,相関学習,劣化という,RBM学習の3つの形態を同定し,定量的に特徴付ける。
  論文  参考訳（メタデータ） (2022-09-02T08:20:34Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Worst Case Matters for Few-Shot Recognition [27.023352955311502]
  少ないショット認識は、カテゴリ毎に非常に少ない(例:1または5)画像を持つ認識モデルを学ぶ。 現在の数発の学習方法は、多くのエピソードの平均精度を改善することに焦点を当てている。 現実のアプリケーションでは、多くではなく1回だけ試すことがよくあるので、最悪のケースの精度を最大化することは、平均的な精度を最大化することよりも重要である、と私たちは主張する。
  論文  参考訳（メタデータ） (2022-03-13T05:39:40Z)
• Accurate Prediction and Uncertainty Estimation using Decoupled Prediction Interval Networks [0.0]
  精度を犠牲にすることなく、回帰に基づく予測の不確かさを確実に推定できるネットワークアーキテクチャを提案する。 予測と予測間隔(PI)推定の学習を2段階の学習プロセスに分解することで、これを実現する。 提案手法を,合成データセットおよびUCIベンチマーク上での最先端不確実性定量化アルゴリズムと比較し,予測誤差を23～34%削減した。
  論文  参考訳（メタデータ） (2022-02-19T19:31:36Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation [1.2891210250935146]
  本稿では,ディープニューラルネットワーク(DNN)の高精度な不確実性推定手法を提案する。 我々は,Deep-Sub-Ensembles法によって提案される利点を利用して,推定時間を比較的低く保つ。 その結果,いくつかの不確実性対策における分類課題と競争結果の精度が向上した。
  論文  参考訳（メタデータ） (2020-10-05T10:59:11Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。