論文の概要: Eliminating Spurious Correlations from Pre-trained Models via Data
Mixing
- arxiv url: http://arxiv.org/abs/2305.14521v1
- Date: Tue, 23 May 2023 20:49:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 23:26:06.450616
- Title: Eliminating Spurious Correlations from Pre-trained Models via Data
Mixing
- Title(参考訳): データ混合による事前学習モデルからのスプリアス相関の除去
- Authors: Yihao Xue, Ali Payani, Yu Yang, Baharan Mirzasoleiman
- Abstract要約: 本稿では,事前学習したモデルから刺激的な相関を除去する,シンプルで効率的な手法を提案する。
我々の手法のキーとなる考え方は、スプリアス属性を持つ小さな例のセットを活用し、データミキシングによってすべてのクラス間でスプリアス属性のバランスをとることである。
提案手法の有効性を理論的に検証し,様々な視覚およびNLPタスクに対して,その最先端性能を実証的に示す。
- 参考スコア(独自算出の注目度): 8.476819370569022
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models pre-trained on large datasets have achieved
remarkable convergence and robustness properties. However, these models often
exploit spurious correlations between certain attributes and labels, which are
prevalent in the majority of examples within specific categories but are not
predictive of these categories in general. The learned spurious correlations
may persist even after fine-tuning on new data, which degrades models'
performance on examples that do not exhibit the spurious correlation. In this
work, we propose a simple and highly effective method to eliminate spurious
correlations from pre-trained models. The key idea of our method is to leverage
a small set of examples with spurious attributes, and balance the spurious
attributes across all classes via data mixing. We theoretically confirm the
effectiveness of our method, and empirically demonstrate its state-of-the-art
performance on various vision and NLP tasks, including eliminating spurious
correlations from pre-trained ResNet50 on Waterbirds and CelebA, adversarially
pre-trained ResNet50 on ImageNet, and BERT pre-trained on CivilComments.
- Abstract(参考訳): 大規模データセット上で事前訓練された機械学習モデルは、顕著な収束性と堅牢性を達成した。
しかし、これらのモデルはしばしば特定の属性とラベルの急激な相関を利用しており、これは特定のカテゴリのほとんどの例でよく見られるが、一般的にこれらのカテゴリの予測にはならない。
学習されたスプリアス相関は、新しいデータを微調整した後でも持続し、スプリアス相関を示さない例でモデルの性能を低下させる。
そこで本研究では,事前学習モデルからスプリアス相関を除去する簡易かつ高効率な手法を提案する。
提案手法の重要な考え方は,散発的な属性を持つ少数の例を活用し,データ混合によってすべてのクラスに散発的な属性をバランスさせることである。
本稿では,本手法の有効性を理論的に確認し,水鳥およびセロバにおけるresnet50のスプリアス相関の排除,imagenetでのresnet50の敵対的事前学習,民事訓練のbertなど,様々なビジョンおよびnlpタスクにおける最新性能を実証する。
関連論文リスト
- Measuring and Improving Attentiveness to Partial Inputs with
Counterfactuals [95.5442607785241]
我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。
CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。
実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
論文 参考訳(メタデータ) (2023-11-16T06:27:35Z) - Reusing Pretrained Models by Multi-linear Operators for Efficient
Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。
bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。
本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文 参考訳(メタデータ) (2023-10-16T06:16:47Z) - A study on the impact of pre-trained model on Just-In-Time defect
prediction [10.205110163570502]
RoBERTaJIT、CodeBERTJIT、BARTJIT、PLBARTJIT、GPT2JIT、CodeGPTJITの6つのモデルを構築します。
本稿では,コミットコードとコミットメッセージを入力として使用する際のモデルの性能と,トレーニング効率とモデル分布の関係について検討する。
論文 参考訳(メタデータ) (2023-09-05T15:34:22Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳(メタデータ) (2023-06-03T20:12:27Z) - Mitigating Spurious Correlations in Multi-modal Models during
Fine-tuning [18.45898471459533]
モデル一般化を低下させたり、間違った理由でモデルが正しいことを導いたという豪華な相関は、現実世界のデプロイメントにおいて大きな堅牢性に関する懸念の1つです。
本稿では,特定の関心領域の微調整において,刺激的な相関に対処する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-08T05:20:33Z) - How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。
本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文 参考訳(メタデータ) (2022-06-17T16:18:28Z) - Last Layer Re-Training is Sufficient for Robustness to Spurious
Correlations [51.552870594221865]
最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。
また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
論文 参考訳(メタデータ) (2022-04-06T16:55:41Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-07-01T09:26:13Z) - The Devil is the Classifier: Investigating Long Tail Relation
Classification with Decoupling Analysis [36.298869931803836]
ロングテール関係分類は、ヘッドクラスがトレーニングフェーズを支配しているため、難しい問題である。
そこで本研究では,関係を自動的に集約することで,ソフトウェイトを割り当てる,注意関係ルーティング付きロバストな分類器を提案する。
論文 参考訳(メタデータ) (2020-09-15T12:47:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。