論文の概要: Improving robustness and calibration in ensembles with diversity regularization

• arxiv url: http://arxiv.org/abs/2201.10908v1
• Date: Wed, 26 Jan 2022 12:51:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 18:30:30.994236
• Title: Improving robustness and calibration in ensembles with diversity regularization
• Title（参考訳）: 多様性規則化によるアンサンブルのロバスト性向上と校正
• Authors: Hendrik Alexander Mehrtens, Camila Gonz\'alez, Anirban Mukhopadhyay
• Abstract要約: 分布外サンプルを用いた分類タスクのための新しい多様性正規化器を提案する。 多様性の正規化は、キャリブレーションやロバストネス、アウト・オブ・ディストリビューション検出に重大な影響を与える可能性がある。
• 参考スコア（独自算出の注目度）: 1.069533806668766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Calibration and uncertainty estimation are crucial topics in high-risk environments. We introduce a new diversity regularizer for classification tasks that uses out-of-distribution samples and increases the overall accuracy, calibration and out-of-distribution detection capabilities of ensembles. Following the recent interest in the diversity of ensembles, we systematically evaluate the viability of explicitly regularizing ensemble diversity to improve calibration on in-distribution data as well as under dataset shift. We demonstrate that diversity regularization is highly beneficial in architectures, where weights are partially shared between the individual members and even allows to use fewer ensemble members to reach the same level of robustness. Experiments on CIFAR-10, CIFAR-100, and SVHN show that regularizing diversity can have a significant impact on calibration and robustness, as well as out-of-distribution detection.
• Abstract（参考訳）: 高リスク環境ではキャリブレーションと不確実性推定が重要なトピックである。 そこで本研究では,分布外サンプルを用い,アンサンブルの全体的な精度,キャリブレーション,分布外検出能力を向上した分類タスクのための新しい多様性調整器を提案する。 近年,アンサンブルの多様性への関心が高まる中,データセットシフト時と同様に分布データのキャリブレーションを改善するために,アンサンブルの多様性を明示的に正規化する可能性について体系的に評価した。 多様性の正規化は、個々のメンバ間で重みが部分的に共有され、同じレベルのロバストネスに達するためにアンサンブルメンバーが少ないアーキテクチャにおいて非常に有益であることを示す。 CIFAR-10、CIFAR-100、SVHNの実験では、多様性の正規化はキャリブレーションとロバスト性、および分布外検出に重大な影響を与えることが示された。

関連論文リスト

• Out-Of-Distribution Detection with Diversification (Provably) [75.44158116183483]
  機械学習モデルの信頼性確保には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 近年の進歩は、トレーニングにおいて容易にアクセス可能な補助的外れ値(例えば、Webや他のデータセットのデータ)を活用することに焦点を当てている。 本稿では,OOD検出のためのダイバーシティ誘導混合法(diversity-induced Mixup for OOD detection,diverseMix)を提案する。
  論文  参考訳（メタデータ） (2024-11-21T11:56:32Z)
• Sharpness-diversity tradeoff: improving flat ensembles with SharpBalance [60.68771286221115]
  深層アンサンブルにおけるシャープネスと多様性の相互作用を示す。 私たちは、アンサンブル内でシャープネスと多様性のバランスをとるトレーニングアプローチであるSharpBalanceを紹介します。 実験により、SharpBalanceはシャープネスとダイバーシティのトレードオフを効果的に改善するだけでなく、アンサンブル性能を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-07-17T20:31:26Z)
• Bridging Multicalibration and Out-of-distribution Generalization Beyond Covariate Shift [44.708914058803224]
  マルチキャリブレーションによるアウト・オブ・ディストリビューションの一般化のための新しいモデルに依存しない最適化フレームワークを構築した。 本稿では,マルチキャリブレーションとアウト・オブ・ディストリビューションの一般化を両立させるポストプロセッシングアルゴリズムMC-Pseudolabelを提案する。
  論文  参考訳（メタデータ） (2024-06-02T08:11:35Z)
• DynED: Dynamic Ensemble Diversification in Data Stream Classification [2.990411348977783]
  MMR(Maximal Marginal Relevance)に基づく新しいアンサンブル構築とメンテナンス手法を提案する。 4つの実データと11つの合成データセットの実験結果から、提案手法は5つの最先端ベースラインと比較して平均平均精度が高いことが示された。
  論文  参考訳（メタデータ） (2023-08-21T15:56:05Z)
• A Unifying Perspective on Multi-Calibration: Game Dynamics for Multi-Objective Learning [63.20009081099896]
  マルチキャリブレーション予測器の設計と解析のための統一フレームワークを提供する。 ゲームダイナミクスとの接続を利用して,多様なマルチ校正学習問題に対する最先端の保証を実現する。
  論文  参考訳（メタデータ） (2023-02-21T18:24:17Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
  我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。 提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:32:12Z)
• Low-Degree Multicalibration [16.99099840073075]
  低Degree Multicalibration は、ますます強力なマルチグループフェアネスの概念の階層を定義する。 低次マルチキャリブレーションは完全マルチキャリブレーションよりもはるかに効率的であることを示す。 我々の研究は、低次多重校正がスイートスポット、ペアリング計算とサンプル効率を強い公正性と精度保証で表しているという説得力のある証拠を提示する。
  論文  参考訳（メタデータ） (2022-03-02T17:24:55Z)
• Trusted Multi-View Classification [76.73585034192894]
  本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。 さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
  論文  参考訳（メタデータ） (2021-02-03T13:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。