論文の概要: Focus on the Common Good: Group Distributional Robustness Follows
- arxiv url: http://arxiv.org/abs/2110.02619v1
- Date: Wed, 6 Oct 2021 09:47:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 14:37:07.846526
- Title: Focus on the Common Good: Group Distributional Robustness Follows
- Title（参考訳）: 共通財に着目して:群分布ロバストネスの追跡
- Authors: Vihari Piratla, Praneeth Netrapalli, Sunita Sarawagi
- Abstract要約: 本稿では,多様なグループ間で共有される特徴の学習を明示的に促進する,新しい,シンプルなアルゴリズムを提案する。
グループDROは、最低の正規化損失を持つグループに焦点を当て、代わりに、他のグループでもより良いパフォーマンスを実現するグループに焦点を当てるが、共有/共通機能を学ぶことにつながる可能性がある。
- 参考スコア（独自算出の注目度）: 47.62596240492509
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of training a classification model with group
annotated training data. Recent work has established that, if there is
distribution shift across different groups, models trained using the standard
empirical risk minimization (ERM) objective suffer from poor performance on
minority groups and that group distributionally robust optimization (Group-DRO)
objective is a better alternative. The starting point of this paper is the
observation that though Group-DRO performs better than ERM on minority groups
for some benchmark datasets, there are several other datasets where it performs
much worse than ERM. Inspired by ideas from the closely related problem of
domain generalization, this paper proposes a new and simple algorithm that
explicitly encourages learning of features that are shared across various
groups. The key insight behind our proposed algorithm is that while Group-DRO
focuses on groups with worst regularized loss, focusing instead, on groups that
enable better performance even on other groups, could lead to learning of
shared/common features, thereby enhancing minority performance beyond what is
achieved by Group-DRO. Empirically, we show that our proposed algorithm matches
or achieves better performance compared to strong contemporary baselines
including ERM and Group-DRO on standard benchmarks on both minority groups and
across all groups. Theoretically, we show that the proposed algorithm is a
descent method and finds first order stationary points of smooth nonconvex
functions.
- Abstract（参考訳）: グループアノテート学習データを用いた分類モデルの訓練の問題点を考察する。
最近の研究は、異なるグループに分散シフトがある場合、標準的経験的リスク最小化(ERM)目標を用いて訓練されたモデルが少数グループにおけるパフォーマンスの低下に悩まされ、グループ分布的に堅牢な最適化(Group-DRO)目標がより良い選択肢であることを示す。
本論文の出発点は,一部のベンチマークデータセットにおいて,グループDROはマイノリティグループにおいてERMよりも優れているが,ERMよりもはるかに悪いパフォーマンスを示すデータセットがいくつか存在する点である。
ドメインの一般化という密接な問題から着想を得た本論文は,様々なグループ間で共有される特徴の学習を明示的に奨励する,新しいシンプルなアルゴリズムを提案する。
提案アルゴリズムの背景にある重要な洞察は,グループDROが最悪の正規化損失を持つグループに焦点をあてる一方で,グループDROが達成した範囲を超えて,グループDROが共有/共通機能を学ぶことにつながる可能性があるということだ。
実験により,提案アルゴリズムは, 少数グループおよび全グループを対象とした標準ベンチマークにおいて, ERM や Group-DRO を含む同時代の強力なベースラインと比較して, より優れた性能が得られることを示す。
理論的には,提案アルゴリズムは降下法であり,滑らかな非凸関数の1次定常点を求める。
関連論文リスト
- Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳（メタデータ） (2023-05-20T07:02:27Z) - Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。
いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-05-09T20:37:16Z) - Distributionally Robust Optimization with Probabilistic Group [24.22720998340643]
分散ロバストな最適化のための新しいフレームワークPG-DROを提案する。
私たちのフレームワークの鍵は、ハードグループアノテーションではなく、ソフトグループメンバシップです。
本フレームワークは,グループメンバシップの曖昧さに対処し,従来の技術よりも柔軟性と汎用性を提供する。
論文 参考訳（メタデータ） (2023-03-10T09:31:44Z) - AGRO: Adversarial Discovery of Error-prone groups for Robust
Optimization [109.91265884632239]
群分散ロバスト最適化(G-DRO)は、トレーニングデータに対する事前定義されたグループのセットに対する最悪の損失を最小限にすることができる。
本稿では、分散ロバスト最適化のためのAGRO -- Adversarial Group Discoveryを提案する。
AGROは、既知の最悪のグループの平均モデルパフォーマンスを8%向上させる。
論文 参考訳（メタデータ） (2022-12-02T00:57:03Z) - Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。
本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。
このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2022-08-26T12:34:55Z) - Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く
本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。
グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2022-01-10T22:04:48Z) - Just Train Twice: Improving Group Robustness without Training Group
Information [101.84574184298006]
経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。
群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。
本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
論文 参考訳（メタデータ） (2021-07-19T17:52:32Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。