論文の概要: RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness

• arxiv url: http://arxiv.org/abs/2206.14502v1
• Date: Wed, 29 Jun 2022 09:44:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 19:36:24.071357
• Title: RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness
• Title（参考訳）: RegMixup: 正規化ツールとしての混在は、驚くほど正確さと配布のロバストさを改善する
• Authors: Francesco Pinto, Harry Yang, Ser-Nam Lim, Philip H.S. Torr, Puneet K. Dokania
• Abstract要約: 学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
• 参考スコア（独自算出の注目度）: 94.69774317059122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that the effectiveness of the well celebrated Mixup [Zhang et al., 2018] can be further improved if instead of using it as the sole learning objective, it is utilized as an additional regularizer to the standard cross-entropy loss. This simple change not only provides much improved accuracy but also significantly improves the quality of the predictive uncertainty estimation of Mixup in most cases under various forms of covariate shifts and out-of-distribution detection experiments. In fact, we observe that Mixup yields much degraded performance on detecting out-of-distribution samples possibly, as we show empirically, because of its tendency to learn models that exhibit high-entropy throughout; making it difficult to differentiate in-distribution samples from out-distribution ones. To show the efficacy of our approach (RegMixup), we provide thorough analyses and experiments on vision datasets (ImageNet & CIFAR-10/100) and compare it with a suite of recent approaches for reliable uncertainty estimation.
• Abstract（参考訳）: 学習目的としてのみ使うのではなく、標準のクロスエントロピー損失に対する追加のレギュレータとして利用すれば、良好なミックスアップ(Zhang et al., 2018)の有効性をさらに向上できることを示す。 この単純な変化は、精度を大幅に改善するだけでなく、様々な形態の共変量シフトや分布外検出実験において、Mixupの予測不確実性推定の品質を著しく向上させる。 実のところ、Mixupは、分布外サンプルの検出において、高エントロピーを示すモデルを学習する傾向があり、分布外サンプルと分布外サンプルとを区別することが困難であるため、おそらく経験的に示すように、分解性能が低下している。 提案手法の有効性を示すために,画像NetとCIFAR-10/100のビジョンデータセットに関する詳細な分析と実験を行い,信頼性の高い不確実性推定のための一連のアプローチと比較した。

関連論文リスト

• Simple and effective data augmentation for compositional generalization [64.00420578048855]
  MRをサンプリングし,それらを逆翻訳するデータ拡張法は,合成一般化に有効であることを示す。 注目すべきは、一様分布からのサンプリングは、テスト分布からのサンプリングとほぼ同等に実行されることである。
  論文  参考訳（メタデータ） (2024-01-18T09:13:59Z)
• Mitigating Biases with Diverse Ensembles and Diffusion Models [99.6100669122048]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,制御信号の追加を必要とせず,一次ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Fairness under Covariate Shift: Improving Fairness-Accuracy tradeoff with few Unlabeled Test Samples [21.144077993862652]
  我々は、ラベル付きトレーニングセットとともに、ラベル付きテストサンプルの小さなセットのみが利用可能である教師なしのシステムで運用する。 我々は、損失定式化による最適化が、最先端のベースラインよりも優れていることを実験的に検証した。 提案手法は, それらの性能を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2023-10-11T14:39:51Z)
• Reweighted Mixup for Subpopulation Shift [63.1315456651771]
  サブポピュレーションシフトは、多くの実世界のアプリケーションに存在し、同じサブポピュレーショングループを含むが異なるサブポピュレーション比率を持つトレーニングとテストの分布を指す。 重要度再重み付けは、サブポピュレーションシフトを処理する古典的で効果的な方法である。 我々は、オーバーフィッティング問題を緩和するために、reweighted mixupと呼ばれるシンプルで実用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-09T03:44:50Z)
• Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
  本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。 サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-04-07T01:45:09Z)
• UMIX: Improving Importance Weighting for Subpopulation Shift via Uncertainty-Aware Mixup [44.0372420908258]
  サブポピュレーションシフトは、多くの現実世界の機械学習アプリケーションに大きく存在する。 重要度再重み付けは、サブポピュレーションシフト問題に対処するための通常の方法である。 オーバーフィッティング問題を緩和するために,不確実性を考慮した混合(Umix)を提案する。
  論文  参考訳（メタデータ） (2022-09-19T11:22:28Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• An Empirical Study of the Effects of Sample-Mixing Methods for Efficient Training of Generative Adversarial Networks [0.0]
  生成敵対ネットワーク(GAN)のトレーニングは、発電機が高品質のサンプルを提供する前に巨大なイテレーションを必要とすることがよく知られています。 本研究では, この問題を緩和するために, 試料混合法であるMixup, CutMix, SRMixの効果を検討した。
  論文  参考訳（メタデータ） (2021-04-08T06:40:23Z)
• On Mixup Regularization [16.748910388577308]
  Mixupは、トレーニングポイントとラベルの凸組み合わせとして新しい例を作成するデータ拡張テクニックである。 そこで本研究では、Mixupの新しい解釈のランダムな摂動が、複数の既知の正規化スキームを誘導することを示す。
  論文  参考訳（メタデータ） (2020-06-10T20:11:46Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。