Fugu-MT 論文翻訳(概要): Data Debiasing with Datamodels (D3M): Improving Subgroup Robustness via Data Selection

論文の概要: Data Debiasing with Datamodels (D3M): Improving Subgroup Robustness via Data Selection

arxiv url: http://arxiv.org/abs/2406.16846v1
Date: Mon, 24 Jun 2024 17:51:01 GMT
ステータス: 処理完了
システム内更新日: 2024-06-25 13:46:06.797215
Title: Data Debiasing with Datamodels (D3M): Improving Subgroup Robustness via Data Selection
Title（参考訳）: データモデル(D3M):データ選択によるサブグループロバスト性の改善
Authors: Saachi Jain, Kimia Hamidieh, Kristian Georgiev, Andrew Ilyas, Marzyeh Ghassemi, Aleksander Madry,
Abstract要約: データモデルによるデータデバイアス(Data Debiasing with Datamodels, D3M)は、マイノリティグループにおけるモデルの障害を駆動する特定のトレーニング例を分離し、削除するデバイアス(debiasing)アプローチである。
参考スコア（独自算出の注目度）: 80.85902083005237
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine learning models can fail on subgroups that are underrepresented during training. While techniques such as dataset balancing can improve performance on underperforming groups, they require access to training group annotations and can end up removing large portions of the dataset. In this paper, we introduce Data Debiasing with Datamodels (D3M), a debiasing approach which isolates and removes specific training examples that drive the model's failures on minority groups. Our approach enables us to efficiently train debiased classifiers while removing only a small number of examples, and does not require training group annotations or additional hyperparameter tuning.
Abstract（参考訳）: 機械学習モデルは、トレーニング中に不足しているサブグループで失敗する可能性がある。データセットバランシングのようなテクニックは、パフォーマンスの低いグループのパフォーマンスを改善することができるが、トレーニンググループアノテーションへのアクセスが必要であり、最終的にはデータセットの大部分を削除することができる。本稿では,データモデルを用いたデータデバイアス(Data Debiasing with Datamodels, D3M)を提案する。提案手法では,少数の例だけを取り除き,非バイアス型分類器を効率的に訓練することが可能であり,トレーニンググループアノテーションやハイパーパラメータチューニングを必要としない。

関連論文リスト

Efficient Bias Mitigation Without Privileged Information [14.21628601482357]
経験的リスク最小化を通じてトレーニングされたディープニューラルネットワークは、グループ間での大きなパフォーマンス格差を示すことが多い。この問題に対処しようとする既存のバイアス軽減手法は、トレーニングや検証のためにグループラベルに依存していることが多い。本稿では,支援者モデルのトレーニング履歴全体を活用するフレームワークであるTAB(Targeted Augmentations for Bias Mitigation)を提案する。また,TABはグループ情報やモデル選択を使わずにグループ性能を向上し,全体の精度を維持しながら既存手法よりも優れていたことを示す。
論文参考訳（メタデータ） (2024-09-26T09:56:13Z)
Data Diet: Can Trimming PET/CT Datasets Enhance Lesion Segmentation? [70.38903555729081]
我々はAutoPET3データ中心のトラックで競合するアプローチについて述べる。 AutoPETIIIデータセットでは、データセット全体をトレーニングしたモデルが望ましくない特性を示す。我々は、スクラッチから再トレーニングする前に、モデル損失によって測定されたトレーニングデータセットから最も簡単なサンプルを取り除き、これを対処する。
論文参考訳（メタデータ） (2024-09-20T14:47:58Z)
Towards Last-layer Retraining for Group Robustness with Fewer Annotations [11.650659637480112]
ニューラルネットワークの経験的リスク最小化(ERM)は、急激な相関に過度に依存する傾向がある。最近のDeep Feature Reweighting技術は、単純な最終層再トレーニングによって最先端のグループロバスト性を実現する。重み付けデータセットが最低群データのごく一部しか持たない場合でも、最終層再トレーニングは最悪のグループ精度を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2023-09-15T16:52:29Z)
Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
論文参考訳（メタデータ） (2023-05-09T20:37:16Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
論文参考訳（メタデータ） (2022-10-13T06:04:43Z)
Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
論文参考訳（メタデータ） (2022-08-26T12:34:55Z)
Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
入力サンプルとターゲットラベルの間に急激な相関関係があるニューラルネットワークの予測を誤った方向に導く本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
論文参考訳（メタデータ） (2022-01-10T22:04:48Z)
Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文参考訳（メタデータ） (2021-06-14T05:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。