論文の概要: Reweighted Mixup for Subpopulation Shift

• arxiv url: http://arxiv.org/abs/2304.04148v1
• Date: Sun, 9 Apr 2023 03:44:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 17:29:02.539920
• Title: Reweighted Mixup for Subpopulation Shift
• Title（参考訳）: 人口移動のための再加重混合
• Authors: Zongbo Han, Zhipeng Liang, Fan Yang, Liu Liu, Lanqing Li, Yatao Bian, Peilin Zhao, Qinghua Hu, Bingzhe Wu, Changqing Zhang, Jianhua Yao
• Abstract要約: サブポピュレーションシフトは、多くの実世界のアプリケーションに存在し、同じサブポピュレーショングループを含むが異なるサブポピュレーション比率を持つトレーニングとテストの分布を指す。 重要度再重み付けは、サブポピュレーションシフトを処理する古典的で効果的な方法である。 我々は、オーバーフィッティング問題を緩和するために、reweighted mixupと呼ばれるシンプルで実用的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 63.1315456651771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subpopulation shift exists widely in many real-world applications, which refers to the training and test distributions that contain the same subpopulation groups but with different subpopulation proportions. Ignoring subpopulation shifts may lead to significant performance degradation and fairness concerns. Importance reweighting is a classical and effective way to handle the subpopulation shift. However, recent studies have recognized that most of these approaches fail to improve the performance especially when applied to over-parameterized neural networks which are capable of fitting any training samples. In this work, we propose a simple yet practical framework, called reweighted mixup (RMIX), to mitigate the overfitting issue in over-parameterized models by conducting importance weighting on the ''mixed'' samples. Benefiting from leveraging reweighting in mixup, RMIX allows the model to explore the vicinal space of minority samples more, thereby obtaining more robust model against subpopulation shift. When the subpopulation memberships are unknown, the training-trajectories-based uncertainty estimation is equipped in the proposed RMIX to flexibly characterize the subpopulation distribution. We also provide insightful theoretical analysis to verify that RMIX achieves better generalization bounds over prior works. Further, we conduct extensive empirical studies across a wide range of tasks to validate the effectiveness of the proposed method.
• Abstract（参考訳）: サブポピュレーションシフトは、多くの実世界のアプリケーションに広く存在し、同じサブポピュレーショングループを含むが異なるサブポピュレーション比率を持つトレーニングとテストの分布を指す。 人口移動を無視すると、パフォーマンスが著しく低下し、公平性が懸念される。 重要度再重み付けは、人口移動を扱う古典的で効果的な方法である。 しかし、最近の研究では、これらのアプローチのほとんどは、特にトレーニングサンプルに適合する過剰パラメータのニューラルネットワークに適用された場合、パフォーマンスの向上に失敗していると認識されている。 本研究では,「混合」サンプルの重み付けを行い,過度パラメータ化モデルにおける過度適合問題を緩和する,reweighted mixup (RMIX) と呼ばれる簡易かつ実用的なフレームワークを提案する。 RMIXはミックスアップにおける再重み付けの利点を生かし、マイノリティ標本のビジナル空間をより探索し、サブポピュレーションシフトに対するより堅牢なモデルを得る。 サブポピュレーションメンバーシップが不明な場合、提案したRMIXにトレーニングトラジェクトリに基づく不確実性を推定し、サブポピュレーション分布を柔軟に特徴づける。 また、RMIXが先行研究よりも優れた一般化境界を達成することを検証するための洞察に富んだ理論解析も提供する。 さらに,提案手法の有効性を検証するため,幅広いタスクにわたる広範な実験研究を行った。

関連論文リスト

• Minimax Regret Learning for Data with Heterogeneous Subgroups [12.253779655660571]
  我々は、最悪のグループ後悔を最小限に抑えるため、一般的な教師付き学習のためのmin-max-regret学習フレームワークを開発する。 広範囲なシミュレーション研究を通じて本手法の有効性を実証し, 数百の移植センターからの腎臓移植データに適用した。
  論文  参考訳（メタデータ） (2024-05-02T20:06:41Z)
• UMIX: Improving Importance Weighting for Subpopulation Shift via Uncertainty-Aware Mixup [44.0372420908258]
  サブポピュレーションシフトは、多くの現実世界の機械学習アプリケーションに大きく存在する。 重要度再重み付けは、サブポピュレーションシフト問題に対処するための通常の方法である。 オーバーフィッティング問題を緩和するために,不確実性を考慮した混合(Umix)を提案する。
  論文  参考訳（メタデータ） (2022-09-19T11:22:28Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup [54.09898347820941]
  自己教師付き学習(SSL)と教師付き学習(SL)の両方のシナリオに対して,textbfScenario-textbfAgnostic textbfMixup (SAMix)を提案する。 具体的には、2つの混合クラス間の局所的な滑らかさを最適化するために、混合生成の目的関数を仮説化し、検証する。 非自明な混合サンプルを効果的に提供し、転送可能な能力を向上させるラベルフリーな生成サブネットワークを設計する。
  論文  参考訳（メタデータ） (2021-11-30T14:49:59Z)
• An Empirical Study of the Effects of Sample-Mixing Methods for Efficient Training of Generative Adversarial Networks [0.0]
  生成敵対ネットワーク(GAN)のトレーニングは、発電機が高品質のサンプルを提供する前に巨大なイテレーションを必要とすることがよく知られています。 本研究では, この問題を緩和するために, 試料混合法であるMixup, CutMix, SRMixの効果を検討した。
  論文  参考訳（メタデータ） (2021-04-08T06:40:23Z)
• Improving Generalization in Reinforcement Learning with Mixture Regularization [113.12412071717078]
  そこで本研究では,異なるトレーニング環境からの観察を混合してエージェントを訓練する,mixregという簡単なアプローチを提案する。 Mixregはデータの多様性をより効果的に向上し、よりスムーズなポリシーを学ぶのに役立つ。 その結果、mixregは、未確認テスト環境において確立されたベースラインを大きなマージンで上回る結果となった。
  論文  参考訳（メタデータ） (2020-10-21T08:12:03Z)
• Annealing Genetic GAN for Minority Oversampling [5.818339336603936]
  GAN(Generative Adversarial Networks)は、クラス不均衡問題に対処する可能性を示している。 本稿では,限られたデータサンプルのみを用いて,マイノリティクラスに最も近い分布を再現することを目的としたAnnealing Genetic GAN (AGGAN)法を提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。