論文の概要: Robust Data Pruning: Uncovering and Overcoming Implicit Bias
- arxiv url: http://arxiv.org/abs/2404.05579v1
- Date: Mon, 8 Apr 2024 14:55:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 14:05:34.595692
- Title: Robust Data Pruning: Uncovering and Overcoming Implicit Bias
- Title(参考訳): Robust Data Pruning - 意図しないバイアスの発見と克服
- Authors: Artem Vysogorets, Kartik Ahuja, Julia Kempe,
- Abstract要約: 我々は、この効果を初めて体系的に研究し、既存のデータプルーニングアルゴリズムが高度に偏りのある分類器を生成することを明らかにした。
本稿では,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証する「フェアネス・アウェア」アプローチを提案する。
- 参考スコア(独自算出の注目度): 11.930434318557156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the era of exceptionally data-hungry models, careful selection of the training data is essential to mitigate the extensive costs of deep learning. Data pruning offers a solution by removing redundant or uninformative samples from the dataset, which yields faster convergence and improved neural scaling laws. However, little is known about its impact on classification bias of the trained models. We conduct the first systematic study of this effect and reveal that existing data pruning algorithms can produce highly biased classifiers. At the same time, we argue that random data pruning with appropriate class ratios has potential to improve the worst-class performance. We propose a "fairness-aware" approach to pruning and empirically demonstrate its performance on standard computer vision benchmarks. In sharp contrast to existing algorithms, our proposed method continues improving robustness at a tolerable drop of average performance as we prune more from the datasets. We present theoretical analysis of the classification risk in a mixture of Gaussians to further motivate our algorithm and support our findings.
- Abstract(参考訳): 例外的なデータハングリーモデルの時代においては、ディープラーニングの膨大なコストを軽減するために、トレーニングデータの慎重な選択が不可欠である。
データプルーニングは、データセットから冗長あるいは非形式的なサンプルを取り除くことでソリューションを提供する。
しかし、訓練されたモデルの分類バイアスへの影響についてはほとんど分かっていない。
我々は、この効果を初めて体系的に研究し、既存のデータプルーニングアルゴリズムが高度に偏りのある分類器を生成することを明らかにした。
同時に、適切なクラス比のランダムデータプルーニングは、最悪のクラス性能を改善する可能性があると論じる。
本稿では,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証する「フェアネス・アウェア」アプローチを提案する。
既存のアルゴリズムとは対照的に,提案手法は,データセットからより経験を積むにつれて,許容可能な平均性能の低下において頑健性の向上を継続する。
本稿では,ガウシアンの混在による分類リスクの理論的解析を行い,アルゴリズムのさらなる動機付けと知見の支持について述べる。
関連論文リスト
- Fair Classifiers Without Fair Training: An Influence-Guided Data
Sampling Approach [34.09122690831707]
我々は、機密情報の漏洩を避けるために、公正な訓練アルゴリズムを実装することなく、公正な分類法を学習する。
提案手法の有効性を理論的に検証し,適切な分布シフトを持つデータセット上での従来型トレーニングにより,公平性差の上限とモデル一般化誤差の両方を低減できることを示した。
そこで,本研究では, 学習中のトレーニングデータを段階的に段階的に変化させる, 学習において, 新たなデータの機密属性にアクセスできない, あるいはトレーニングに使用するような, 学習中のトレーニングデータを段階的に変化させる, トラクタブルなソリューションを提案する。
論文 参考訳(メタデータ) (2024-02-20T07:57:38Z) - Synthetic Information towards Maximum Posterior Ratio for deep learning
on Imbalanced Data [1.7495515703051119]
マイノリティクラスのための合成データを生成することによって,データのバランスをとる手法を提案する。
提案手法は,高エントロピーサンプルを同定することにより,情報領域のバランスを優先する。
実験結果から,提案手法の優れた性能を実証した。
論文 参考訳(メタデータ) (2024-01-05T01:08:26Z) - Towards Accelerated Model Training via Bayesian Data Selection [45.62338106716745]
本稿では,モデルの一般化損失に対するデータの影響を調べることによって,より合理的なデータ選択原理を提案する。
近年の研究では、モデルの一般化損失に対するデータの影響を調べることによって、より合理的なデータ選択の原則が提案されている。
この研究は、軽量ベイズ処理を活用し、大規模な事前訓練モデル上に構築された既製のゼロショット予測器を組み込むことにより、これらの問題を解決する。
論文 参考訳(メタデータ) (2023-08-21T07:58:15Z) - Towards Robust Dataset Learning [90.2590325441068]
本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。
ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
論文 参考訳(メタデータ) (2022-11-19T17:06:10Z) - Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。
我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。
得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
論文 参考訳(メタデータ) (2022-01-23T21:18:17Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z) - Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。
提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。
提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
論文 参考訳(メタデータ) (2021-06-02T11:39:25Z) - Robust Fairness-aware Learning Under Sample Selection Bias [17.09665420515772]
サンプル選択バイアス下での頑健で公正な学習のための枠組みを提案する。
テストデータが利用可能で、利用できない場合に、サンプル選択バイアスを処理する2つのアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-05-24T23:23:36Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳(メタデータ) (2021-04-06T22:53:45Z) - Learning from Similarity-Confidence Data [94.94650350944377]
類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。
本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
論文 参考訳(メタデータ) (2021-02-13T07:31:16Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。