論文の概要: An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation
- arxiv url: http://arxiv.org/abs/2205.12753v1
- Date: Wed, 25 May 2022 13:04:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 20:18:01.059780
- Title: An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation
- Title（参考訳）: 事前学習とデータ拡張の観点からの分布シフトロバスト性に関する実証的研究
- Authors: Ziquan Liu, Yi Xu, Yuanhong Xu, Qi Qian, Hao Li, Rong Jin, Xiangyang
Ji, Antoni B. Chan
- Abstract要約: 本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
- 参考スコア（独自算出の注目度）: 91.62129090006745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The performance of machine learning models under distribution shift has been
the focus of the community in recent years. Most of current methods have been
proposed to improve the robustness to distribution shift from the algorithmic
perspective, i.e., designing better training algorithms to help the
generalization in shifted test distributions. This paper studies the
distribution shift problem from the perspective of pre-training and data
augmentation, two important factors in the practice of deep learning that have
not been systematically investigated by existing work. By evaluating seven
pre-trained models, including ResNets and ViT's with self-supervision and
supervision mode, on five important distribution-shift datasets, from WILDS and
DomainBed benchmarks, with five different learning algorithms, we provide the
first comprehensive empirical study focusing on pre-training and data
augmentation. With our empirical result obtained from 1,330 models, we provide
the following main observations: 1) ERM combined with data augmentation can
achieve state-of-the-art performance if we choose a proper pre-trained model
respecting the data property; 2) specialized algorithms further improve the
robustness on top of ERM when handling a specific type of distribution shift,
e.g., GroupDRO for spurious correlation and CORAL for large-scale
out-of-distribution data; 3) Comparing different pre-training modes,
architectures and data sizes, we provide novel observations about pre-training
on distribution shift, which sheds light on designing or selecting pre-training
strategy for different kinds of distribution shifts. In summary, our empirical
study provides a comprehensive baseline for a wide range of pre-training models
fine-tuned with data augmentation, which potentially inspires research
exploiting the power of pre-training and data augmentation in the future of
distribution shift study.
- Abstract（参考訳）: 近年,分散シフト中の機械学習モデルの性能がコミュニティの焦点となっている。
現在の手法の多くは、アルゴリズムの観点から分散シフトのロバスト性を改善するために提案されており、すなわち、シフトしたテスト分布の一般化を支援するためにより良いトレーニングアルゴリズムを設計する。
本稿では,既存の研究で体系的に研究されていない深層学習の実践における2つの重要な要素である,事前学習とデータ拡張の観点から分布シフト問題を検討する。
WILDSとDomainBedベンチマークの5つの重要な分散シフトデータセットに対して、ResNetsやViTなど7つの事前学習モデルを評価し、5つの学習アルゴリズムを用いて、事前学習とデータ拡張に焦点を当てた初の総合的な実証的研究を行った。
1,330のモデルから得られた実験結果から,以下の主な観測結果を得た。
1)ERMとデータ拡張を組み合わせることで,データ特性を尊重する適切な事前学習モデルを選択すると,最先端の性能が得られる。
2) 特定アルゴリズムは,特定種類の分布シフトを扱う際のerm上のロバスト性をさらに向上させる。例えば,スプリアス相関のためのgroupdroと,大規模分散データのコーラルである。
3) 異なる事前学習モード, アーキテクチャ, およびデータサイズを比較することで, 分散シフトの事前学習について新たな観察を行い, 異なる種類の分散シフトに対する事前学習戦略の設計・選択に光を当てる。
要約すると,本研究では,データ拡張を微調整した幅広い事前学習モデルの総合的なベースラインを提供するとともに,分散シフト研究の今後における事前学習とデータ拡張のパワーを活用した研究を刺激する可能性がある。
関連論文リスト
- Embedding And Clustering Your Data Can Improve Contrastive Pretraining [0.0]
我々は、事前訓練されたテキスト埋め込みモデルと古典的なk-meansクラスタリングアルゴリズムを活用することにより、ソースの粒度を超えてトレーニングデータ層を拡大することを検討する。
MSMARCOトランジッション検索データセットからBERTベースのテキスト埋め込みモデルをクエリパスペア上で事前学習する場合,NDCG@10の顕著な増加が観察された。
論文 参考訳（メタデータ） (2024-07-26T17:36:40Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - An Empirical Study of Pre-trained Model Selection for Out-of-Distribution Generalization and Calibration [11.102950630209879]
アウト・オブ・ディストリビューション(OOD)の一般化タスクでは、微調整された事前学習モデルが一般的な戦略となっている。
本研究では,事前学習モデルサイズ,事前学習データセットサイズ,トレーニング戦略が一般化と不確実性校正にどのように影響するかを検討した。
論文 参考訳（メタデータ） (2023-07-17T01:27:10Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - On the Trade-off of Intra-/Inter-class Diversity for Supervised
Pre-training [72.8087629914444]
教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。
トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
論文 参考訳（メタデータ） (2023-05-20T16:23:50Z) - Better Modelling Out-of-Distribution Regression on Distributed Acoustic
Sensor Data Using Anchored Hidden State Mixup [0.7455546102930911]
トレーニングデータとテストデータの統計的分布が異なる状況への機械学習モデルの応用を一般化することは、複雑な問題であった。
本稿では,正規化の新たなペナルティを形成するために,多様体隠蔽状態の混合と観測類似性を利用したアンカー型回帰混合アルゴリズムを提案する。
提案手法の既存手法に対する一般化性能を広範囲に評価し,提案手法が最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2022-02-23T03:12:21Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳（メタデータ） (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。