論文の概要: Improved Group Robustness via Classifier Retraining on Independent Splits

• arxiv url: http://arxiv.org/abs/2204.09583v3
• Date: Fri, 28 Jul 2023 18:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 00:57:30.863804
• Title: Improved Group Robustness via Classifier Retraining on Independent Splits
• Title（参考訳）: 独立スプリットによる分類器再学習によるグループロバスト性の改善
• Authors: Thien Hang Nguyen, Hongyang R. Zhang, Huy Le Nguyen
• Abstract要約: 群分布的ロバスト最適化は、強力な最悪群性能を持つ学習モデルのベースラインとして広く使われている。 本稿では,トレーニングデータの独立分割に基づくリトレーニングのアイデアに基づいて,簡単な手法を設計する。 新たなサンプル分割手法を用いることで、微調整工程において、ロバストな最悪のグループ性能が得られることが判明した。
• 参考スコア（独自算出の注目度）: 6.930560177764658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks trained by minimizing the average risk can achieve strong average performance. Still, their performance for a subgroup may degrade if the subgroup is underrepresented in the overall data population. Group distributionally robust optimization (Sagawa et al., 2020a), or group DRO in short, is a widely used baseline for learning models with strong worst-group performance. We note that this method requires group labels for every example at training time and can overfit to small groups, requiring strong regularization. Given a limited amount of group labels at training time, Just Train Twice (Liu et al., 2021), or JTT in short, is a two-stage method that infers a pseudo group label for every unlabeled example first, then applies group DRO based on the inferred group labels. The inference process is also sensitive to overfitting, sometimes involving additional hyperparameters. This paper designs a simple method based on the idea of classifier retraining on independent splits of the training data. We find that using a novel sample-splitting procedure achieves robust worst-group performance in the fine-tuning step. When evaluated on benchmark image and text classification tasks, our approach consistently performs favorably to group DRO, JTT, and other strong baselines when either group labels are available during training or are only given in validation sets. Importantly, our method only relies on a single hyperparameter, which adjusts the fraction of labels used for training feature extractors vs. training classification layers. We justify the rationale of our splitting scheme with a generalization-bound analysis of the worst-group loss.
• Abstract（参考訳）: 平均リスクを最小限にすることでトレーニングされたディープニューラルネットワークは、強い平均パフォーマンスを実現することができる。 それでも、サブグループのパフォーマンスが低下する可能性があるのは、サブグループ全体のデータ人口が過小評価されている場合である。 群分布的ロバスト最適化(Sgawa et al., 2020a, 略してDRO)は、強力な最悪群性能を持つ学習モデルのベースラインとして広く使われている。 本手法では,各例にグループラベルが必要であり,小規模なグループに過度に適合し,厳密な正規化が要求される。 訓練時にグループラベルが限られている場合、Just Train Twice (Liu et al., 2021) または JTT は、まず未ラベルのすべてのサンプルに対して擬似グループラベルを推測し、次に推論されたグループラベルに基づいてグループDROを適用する2段階の手法である。 推論プロセスはオーバーフィッティングにも敏感で、時にはハイパーパラメータも追加される。 本稿では,学習データの独立分割に基づく分類器再訓練の考え方に基づく簡易な手法を提案する。 我々は,新しいサンプルスプリッティング手法を用いることで,微調整ステップにおいてロバストな最悪グループ性能を実現することを見出した。 ベンチマーク画像およびテキスト分類タスクで評価すると,どちらのグループラベルもトレーニング中に利用可能か,検証セットでのみ提供される場合,グループdro,jtt,その他の強力なベースラインに対して,一貫して良好に機能する。 重要な点として,本手法は1つのハイパーパラメータにのみ依存し,特徴抽出器のトレーニングに使用するラベルの比率をトレーニング分類層と比較する。 我々は,最悪のグループ損失の一般化境界解析により,分割スキームの理論的根拠を正当化する。

関連論文リスト

• Efficient Bias Mitigation Without Privileged Information [14.21628601482357]
  経験的リスク最小化を通じてトレーニングされたディープニューラルネットワークは、グループ間での大きなパフォーマンス格差を示すことが多い。 この問題に対処しようとする既存のバイアス軽減手法は、トレーニングや検証のためにグループラベルに依存していることが多い。 本稿では,支援者モデルのトレーニング履歴全体を活用するフレームワークであるTAB(Targeted Augmentations for Bias Mitigation)を提案する。 また,TABはグループ情報やモデル選択を使わずにグループ性能を向上し,全体の精度を維持しながら既存手法よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2024-09-26T09:56:13Z)
• A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
  分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。 非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-26T14:21:45Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Bitrate-Constrained DRO: Beyond Worst Case Robustness To Unknown Group Shifts [122.08782633878788]
  いくつかの堅牢なトレーニングアルゴリズム(例えば、グループDRO)は、グループシフトを専門とし、すべてのトレーニングポイントについてグループ情報を必要とする。 グループアノテーションを必要としない他の方法(CVaR DROなど)は、過度に保守的である。 低機能により実現された単純な群関数の精度を維持するモデルを学習する。
  論文  参考訳（メタデータ） (2023-02-06T17:07:16Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• BARACK: Partially Supervised Group Robustness With Guarantees [29.427365308680717]
  ニューラルネットワーク上での最悪のグループパフォーマンスを改善するためのフレームワークであるBARACKを提案する。 トレーニングデータの欠落したグループラベルを予測するためにモデルをトレーニングし、その上で、これらの予測されたグループラベルを頑健な最適化目標として使用する。 実験的な手法では, 1-33%のポイントにグループラベルがある場合でも, グループ情報を使用しないベースラインよりも優れている。
  論文  参考訳（メタデータ） (2021-12-31T23:05:21Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。