論文の概要: UMIX: Improving Importance Weighting for Subpopulation Shift via Uncertainty-Aware Mixup

• arxiv url: http://arxiv.org/abs/2209.08928v1
• Date: Mon, 19 Sep 2022 11:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 19:02:56.686303
• Title: UMIX: Improving Importance Weighting for Subpopulation Shift via Uncertainty-Aware Mixup
• Title（参考訳）: UMIX:不確実性認識混合によるサブポピュレーションシフトの重要度向上
• Authors: Zongbo Han, Zhipeng Liang, Fan Yang, Liu Liu, Lanqing Li, Yatao Bian, Peilin Zhao, Bingzhe Wu, Changqing Zhang, Jianhua Yao
• Abstract要約: サブポピュレーションシフトは、多くの現実世界の機械学習アプリケーションに大きく存在する。 重要度再重み付けは、サブポピュレーションシフト問題に対処するための通常の方法である。 オーバーフィッティング問題を緩和するために,不確実性を考慮した混合(Umix)を提案する。
• 参考スコア（独自算出の注目度）: 44.0372420908258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subpopulation shift wildly exists in many real-world machine learning applications, referring to the training and test distributions containing the same subpopulation groups but varying in subpopulation frequencies. Importance reweighting is a normal way to handle the subpopulation shift issue by imposing constant or adaptive sampling weights on each sample in the training dataset. However, some recent studies have recognized that most of these approaches fail to improve the performance over empirical risk minimization especially when applied to over-parameterized neural networks. In this work, we propose a simple yet practical framework, called uncertainty-aware mixup (Umix), to mitigate the overfitting issue in over-parameterized models by reweighting the "mixed" samples according to the sample uncertainty. The training-trajectories-based uncertainty estimation is equipped in the proposed Umix for each sample to flexibly characterize the subpopulation distribution. We also provide insightful theoretical analysis to verify that Umix achieves better generalization bounds over prior works. Further, we conduct extensive empirical studies across a wide range of tasks to validate the effectiveness of our method both qualitatively and quantitatively.
• Abstract（参考訳）: サブポピュレーションシフトは、多くの実世界の機械学習アプリケーションに存在し、同じサブポピュレーショングループを含むが、サブポピュレーション周波数が異なるトレーニングおよびテスト分布を参照している。 重要度重み付けは、トレーニングデータセットの各サンプルに一定または適応的なサンプリング重みを付けて、サブポピュレーションシフト問題に対処する一般的な方法である。 しかしながら、近年の研究では、これらのアプローチのほとんどは、特に過パラメータニューラルネットワークに適用した場合に、経験的リスク最小化よりもパフォーマンスを改善することができないと認識されている。 本研究では,サンプルの不確実性に応じて「混合」サンプルを再重み付けすることで,過度なパラメータ化モデルにおける過度適合問題を緩和する,不確実性認識混合(Umix)と呼ばれる簡易かつ実用的なフレームワークを提案する。 学習軌跡に基づく不確かさ推定は,提案する各サンプルのumixに実装され,そのサブポピュレーション分布を柔軟に特徴付ける。 umixが以前の作業よりもより良い一般化境界を達成することを検証するために、洞察に富んだ理論的分析も提供します。 さらに,本手法の有効性を質的かつ定量的に検証するために,幅広いタスクにわたる広範な実証研究を行った。

関連論文リスト

• Multi-dimensional domain generalization with low-rank structures [18.565189720128856]
  統計的および機械学習の手法では、テストデータがトレーニングデータと同一に分散されていると仮定されるのが一般的である。 この仮定は必ずしも成り立たないが、特にトレーニングデータに対象の個体群がよく表現されていないアプリケーションでは顕著である。 線形回帰モデルにおいて,この問題に対処するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-18T08:07:58Z)
• Reweighted Mixup for Subpopulation Shift [63.1315456651771]
  サブポピュレーションシフトは、多くの実世界のアプリケーションに存在し、同じサブポピュレーショングループを含むが異なるサブポピュレーション比率を持つトレーニングとテストの分布を指す。 重要度再重み付けは、サブポピュレーションシフトを処理する古典的で効果的な方法である。 我々は、オーバーフィッティング問題を緩和するために、reweighted mixupと呼ばれるシンプルで実用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-09T03:44:50Z)
• Deep Anti-Regularized Ensembles provide reliable out-of-distribution uncertainty quantification [4.750521042508541]
  深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。 トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。 提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
  論文  参考訳（メタデータ） (2023-04-08T15:25:12Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。