Fugu-MT 論文翻訳(概要): Improved Worst-Group Robustness via Classifier Retraining on Independent Splits

論文の概要: Improved Worst-Group Robustness via Classifier Retraining on Independent Splits

arxiv url: http://arxiv.org/abs/2204.09583v1
Date: Wed, 20 Apr 2022 16:22:27 GMT
ステータス: 処理完了
システム内更新日: 2022-04-21 15:35:43.052718
Title: Improved Worst-Group Robustness via Classifier Retraining on Independent Splits
Title（参考訳）: 独立スプリットによる分類器再学習によるグループロバスト性の改善
Authors: Thien Hang Nguyen, Hongyang R. Zhang, Huy Le Nguyen
Abstract要約: 経験的リスク最小化(ERM)で訓練された高容量ディープニューラルネットワーク(DNN)は、しばしば最悪のグループ精度の低下に悩まされる。我々は、データセットの独立分割に対して頑健な再トレーニングを行うCRISと呼ばれる手法を開発した。これにより、グループDROのような最先端の手法を標準データセット上で改善する簡単な方法が得られる。
参考スコア（独自算出の注目度）: 6.930560177764658
License: http://creativecommons.org/licenses/by/4.0/
Abstract: High-capacity deep neural networks (DNNs) trained with Empirical Risk Minimization (ERM) often suffer from poor worst-group accuracy despite good on-average performance, where worst-group accuracy measures a model's robustness towards certain subpopulations of the input space. Spurious correlations and memorization behaviors of ERM trained DNNs are typically attributed to this degradation in performance. We develop a method, called CRIS, that address these issues by performing robust classifier retraining on independent splits of the dataset. This results in a simple method that improves upon state-of-the-art methods, such as Group DRO, on standard datasets while relying on much fewer group labels and little additional hyperparameter tuning.
Abstract（参考訳）: 経験的リスク最小化(ERM)で訓練されたDNN(High-Capacity Deep Neural Network)は、平均的なパフォーマンスにもかかわらず、最悪のグループ精度が低い場合が多い。 ERM訓練DNNの鮮明な相関と暗記挙動は、典型的にはこの性能低下に起因する。我々は、データセットの独立分割に基づいて頑健な分類器の再訓練を行うことにより、これらの問題に対処するCRISと呼ばれる手法を開発した。この結果、グループDROのような最先端の手法を標準データセットで改善し、グループラベルをはるかに少なくし、ハイパーパラメータチューニングをほとんど追加しない単純な方法が得られた。

関連論文リスト

Efficient Bias Mitigation Without Privileged Information [14.21628601482357]
経験的リスク最小化を通じてトレーニングされたディープニューラルネットワークは、グループ間での大きなパフォーマンス格差を示すことが多い。この問題に対処しようとする既存のバイアス軽減手法は、トレーニングや検証のためにグループラベルに依存していることが多い。本稿では,支援者モデルのトレーニング履歴全体を活用するフレームワークであるTAB(Targeted Augmentations for Bias Mitigation)を提案する。また,TABはグループ情報やモデル選択を使わずにグループ性能を向上し,全体の精度を維持しながら既存手法よりも優れていたことを示す。
論文参考訳（メタデータ） (2024-09-26T09:56:13Z)
A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
論文参考訳（メタデータ） (2024-01-26T14:21:45Z)
Bias Amplification Enhances Minority Group Performance [10.380812738348899]
本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
論文参考訳（メタデータ） (2023-09-13T04:40:08Z)
Bitrate-Constrained DRO: Beyond Worst Case Robustness To Unknown Group Shifts [122.08782633878788]
いくつかの堅牢なトレーニングアルゴリズム(例えば、グループDRO)は、グループシフトを専門とし、すべてのトレーニングポイントについてグループ情報を必要とする。グループアノテーションを必要としない他の方法(CVaR DROなど)は、過度に保守的である。低機能により実現された単純な群関数の精度を維持するモデルを学習する。
論文参考訳（メタデータ） (2023-02-06T17:07:16Z)
Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
論文参考訳（メタデータ） (2022-10-13T06:04:43Z)
Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
論文参考訳（メタデータ） (2022-08-26T12:34:55Z)
Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
入力サンプルとターゲットラベルの間に急激な相関関係があるニューラルネットワークの予測を誤った方向に導く本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
論文参考訳（メタデータ） (2022-01-10T22:04:48Z)
BARACK: Partially Supervised Group Robustness With Guarantees [29.427365308680717]
ニューラルネットワーク上での最悪のグループパフォーマンスを改善するためのフレームワークであるBARACKを提案する。トレーニングデータの欠落したグループラベルを予測するためにモデルをトレーニングし、その上で、これらの予測されたグループラベルを頑健な最適化目標として使用する。実験的な手法では, 1-33%のポイントにグループラベルがある場合でも, グループ情報を使用しないベースラインよりも優れている。
論文参考訳（メタデータ） (2021-12-31T23:05:21Z)
Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
論文参考訳（メタデータ） (2021-07-19T17:52:32Z)
Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文参考訳（メタデータ） (2021-06-14T05:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。