論文の概要: Eliminating Spurious Correlations from Pre-trained Models via Data Mixing

• arxiv url: http://arxiv.org/abs/2305.14521v1
• Date: Tue, 23 May 2023 20:49:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 23:26:06.450616
• Title: Eliminating Spurious Correlations from Pre-trained Models via Data Mixing
• Title（参考訳）: データ混合による事前学習モデルからのスプリアス相関の除去
• Authors: Yihao Xue, Ali Payani, Yu Yang, Baharan Mirzasoleiman
• Abstract要約: 本稿では,事前学習したモデルから刺激的な相関を除去する,シンプルで効率的な手法を提案する。 我々の手法のキーとなる考え方は、スプリアス属性を持つ小さな例のセットを活用し、データミキシングによってすべてのクラス間でスプリアス属性のバランスをとることである。 提案手法の有効性を理論的に検証し,様々な視覚およびNLPタスクに対して,その最先端性能を実証的に示す。
• 参考スコア（独自算出の注目度）: 8.476819370569022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models pre-trained on large datasets have achieved remarkable convergence and robustness properties. However, these models often exploit spurious correlations between certain attributes and labels, which are prevalent in the majority of examples within specific categories but are not predictive of these categories in general. The learned spurious correlations may persist even after fine-tuning on new data, which degrades models' performance on examples that do not exhibit the spurious correlation. In this work, we propose a simple and highly effective method to eliminate spurious correlations from pre-trained models. The key idea of our method is to leverage a small set of examples with spurious attributes, and balance the spurious attributes across all classes via data mixing. We theoretically confirm the effectiveness of our method, and empirically demonstrate its state-of-the-art performance on various vision and NLP tasks, including eliminating spurious correlations from pre-trained ResNet50 on Waterbirds and CelebA, adversarially pre-trained ResNet50 on ImageNet, and BERT pre-trained on CivilComments.
• Abstract（参考訳）: 大規模データセット上で事前訓練された機械学習モデルは、顕著な収束性と堅牢性を達成した。 しかし、これらのモデルはしばしば特定の属性とラベルの急激な相関を利用しており、これは特定のカテゴリのほとんどの例でよく見られるが、一般的にこれらのカテゴリの予測にはならない。 学習されたスプリアス相関は、新しいデータを微調整した後でも持続し、スプリアス相関を示さない例でモデルの性能を低下させる。 そこで本研究では,事前学習モデルからスプリアス相関を除去する簡易かつ高効率な手法を提案する。 提案手法の重要な考え方は,散発的な属性を持つ少数の例を活用し,データ混合によってすべてのクラスに散発的な属性をバランスさせることである。 本稿では,本手法の有効性を理論的に確認し,水鳥およびセロバにおけるresnet50のスプリアス相関の排除,imagenetでのresnet50の敵対的事前学習,民事訓練のbertなど,様々なビジョンおよびnlpタスクにおける最新性能を実証する。

関連論文リスト

• Distributionally Robust Safe Sample Elimination under Covariate Shift [16.85444622474742]
  1つのトレーニングデータセットを使用して、わずかに異なるデータ分布をまたいだ複数のモデルをトレーニングする、機械学習のセットアップについて検討する。 分散ロバスト(DR)最適化と安全なサンプルスクリーニング(SSS)を組み合わせたDRSSS法を提案する。 この方法の主な利点は、縮小データセットでトレーニングされたモデルが、可能なすべての異なる環境において、フルデータセットでトレーニングされたモデルと同等に実行されることである。
  論文  参考訳（メタデータ） (2024-06-10T01:46:42Z)
• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Restricted Generative Projection for One-Class Classification and Anomaly Detection [31.173234437065464]
  トレーニングデータの未知分布(正規分布)を既知の目標分布に変換するためのマッピングを学習する。 シンプルさは、配布から簡単にサンプルを採取できるようにすることです。 コンパクト性は、正規データと異常データとの判定境界が明確であることを保証することである。 その情報性は、変換されたデータが元のデータの重要な情報を確実に保持することである。
  論文  参考訳（メタデータ） (2023-07-09T04:59:10Z)
• Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features [119.22672589020394]
  多様な特徴の集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよい手法を提案する。 複数の分散シフト設定を持つ4つのデータセットに対する実験により、Pro$2$は、限られたターゲットデータが与えられた場合、パフォーマンスを5～15%向上することが示された。
  論文  参考訳（メタデータ） (2023-02-10T18:58:03Z)
• Lightweight Conditional Model Extrapolation for Streaming Data under Class-Prior Shift [27.806085423595334]
  非定常ストリーミングデータを用いて学習する新しい方法であるLIMESを紹介する。 我々は、特定のデータ分布に対する特定の分類器を導出するモデルパラメータの集合を1つ学習する。 Twitterデータを用いた一連の模範的なタスクの実験では、LIMESが代替手法よりも高い精度を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-10T15:19:52Z)
• A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
  MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。 トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。 提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-06T17:59:19Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• On-target Adaptation [82.77980951331854]
  ドメイン適応は、Emphtargetドメインでのトレーニングとテストの間のシフトを軽減することを目指している。 ほとんどの適応法は、ソースデータとターゲットデータに対する共同最適化によるソースデータに依存している。 対象データから純粋に表現を学習するオン・ターゲット適応による大幅な改善を示す。
  論文  参考訳（メタデータ） (2021-09-02T17:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。