論文の概要: Mind the GAP: Improving Robustness to Subpopulation Shifts with Group-Aware Priors

• arxiv url: http://arxiv.org/abs/2403.09869v1
• Date: Thu, 14 Mar 2024 21:00:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 21:05:51.178746
• Title: Mind the GAP: Improving Robustness to Subpopulation Shifts with Group-Aware Priors
• Title（参考訳）: GAPの考え方:グループ意識による人口変動に対するロバスト性の向上
• Authors: Tim G. J. Rudner, Ya Shi Zhang, Andrew Gordon Wilson, Julia Kempe,
• Abstract要約: 我々は、サブポピュレーションシフトの下でよく一般化するモデルを明示的に好むニューラルネットワークパラメータ上で、GAP(group-aware prior)分布のファミリーを開発する。 我々は、以前トレーニングされた非ロバストモデルの最終層のみをトレーニングしても、GAPによるトレーニングが最先端のパフォーマンスをもたらすことを実証する。
• 参考スコア（独自算出の注目度）: 46.03963664373476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models often perform poorly under subpopulation shifts in the data distribution. Developing methods that allow machine learning models to better generalize to such shifts is crucial for safe deployment in real-world settings. In this paper, we develop a family of group-aware prior (GAP) distributions over neural network parameters that explicitly favor models that generalize well under subpopulation shifts. We design a simple group-aware prior that only requires access to a small set of data with group information and demonstrate that training with this prior yields state-of-the-art performance -- even when only retraining the final layer of a previously trained non-robust model. Group aware-priors are conceptually simple, complementary to existing approaches, such as attribute pseudo labeling and data reweighting, and open up promising new avenues for harnessing Bayesian inference to enable robustness to subpopulation shifts.
• Abstract（参考訳）: 機械学習モデルは、データ分布のサブポピュレーションシフトの下では、よく機能しない。 機械学習モデルによるこのようなシフトの一般化を可能にする手法の開発は、現実の環境での安全なデプロイに不可欠である。 本稿では,グループ認識事前分布(GAP)をニューラルネットワークパラメータ上に展開し,サブポピュレーションシフトの下で適切に一般化するモデルを提案する。 我々は、グループ情報を持つ小さなデータセットへのアクセスのみを必要とする単純なグループ認識を設計し、以前トレーニングされた非ロバストモデルの最終層のみをトレーニングした場合に、この事前のトレーニングが最先端のパフォーマンスをもたらすことを実証する。 グループ・アウェア・プライアーは概念的には単純であり、属性の擬似ラベリングやデータ再重み付けといった既存のアプローチを補完し、ベイズ的推論を活用して人口移動の堅牢性を実現するための新しい道を開く。

関連論文リスト

• Curriculum-enhanced GroupDRO: Challenging the Norm of Avoiding Curriculum Learning in Subpopulation Shift Setups [2.719510212909501]
  サブポピュレーションシフトのシナリオでは、Curriculum Learning (CL)アプローチはモデルの重み付けを早期にインプリントするだけであり、容易に学習可能なスプリアス相関を持つ。 本稿では,最も難しいバイアス確認サンプルと最も簡単なバイアス強調サンプルを優先する,CeGDRO(Curriculum-enhanced Group Distributionally Robust Optimization)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-22T13:38:56Z)
• Efficient Bias Mitigation Without Privileged Information [14.21628601482357]
  経験的リスク最小化を通じてトレーニングされたディープニューラルネットワークは、グループ間での大きなパフォーマンス格差を示すことが多い。 この問題に対処しようとする既存のバイアス軽減手法は、トレーニングや検証のためにグループラベルに依存していることが多い。 本稿では,支援者モデルのトレーニング履歴全体を活用するフレームワークであるTAB(Targeted Augmentations for Bias Mitigation)を提案する。 また,TABはグループ情報やモデル選択を使わずにグループ性能を向上し,全体の精度を維持しながら既存手法よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2024-09-26T09:56:13Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• Change is Hard: A Closer Look at Subpopulation Shift [48.0369745740936]
  本稿では,部分群における共通シフトを識別し,説明する統一的なフレームワークを提案する。 次に、ビジョン、言語、医療領域の12の現実世界のデータセットで評価された20の最先端アルゴリズムのベンチマークを作成します。
  論文  参考訳（メタデータ） (2023-02-23T18:59:56Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Inclusive GAN: Improving Data and Minority Coverage in Generative Models [101.67587566218928]
  データカバレッジの1つとしてマイノリティー・インクルージョンの問題を定式化する。 次に、再構成世代と敵対的トレーニングを調和させることにより、データカバレッジを改善することを提案する。 我々は、モデルが確実に含めるべきマイノリティサブグループを明示的に制御できる拡張を開発する。
  論文  参考訳（メタデータ） (2020-04-07T13:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。