論文の概要: On the Connection between Pre-training Data Diversity and Fine-tuning Robustness

• arxiv url: http://arxiv.org/abs/2307.12532v1
• Date: Mon, 24 Jul 2023 05:36:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 15:30:35.102916
• Title: On the Connection between Pre-training Data Diversity and Fine-tuning Robustness
• Title（参考訳）: 事前学習データ多様性と微調整ロバスト性の関係について
• Authors: Vivek Ramanujan, Thao Nguyen, Sewoong Oh, Ludwig Schmidt, Ali Farhadi
• Abstract要約: 下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
• 参考スコア（独自算出の注目度）: 66.30369048726145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training has been widely adopted in deep learning to improve model performance, especially when the training data for a target task is limited. In our work, we seek to understand the implications of this training strategy on the generalization properties of downstream models. More specifically, we ask the following question: how do properties of the pre-training distribution affect the robustness of a fine-tuned model? The properties we explore include the label space, label semantics, image diversity, data domains, and data quantity of the pre-training distribution. We find that the primary factor influencing downstream effective robustness (Taori et al., 2020) is data quantity, while other factors have limited significance. For example, reducing the number of ImageNet pre-training classes by 4x while increasing the number of images per class by 4x (that is, keeping total data quantity fixed) does not impact the robustness of fine-tuned models. We demonstrate our findings on pre-training distributions drawn from various natural and synthetic data sources, primarily using the iWildCam-WILDS distribution shift as a test for downstream robustness.
• Abstract（参考訳）: ディープラーニングでは,特に対象タスクのトレーニングデータに制限がある場合には,事前トレーニングが広く採用されている。 本研究は、下流モデルの一般化特性に対するこの学習戦略の影響を理解することを目的とする。 より具体的には、事前学習された分布の性質は、微調整されたモデルの堅牢性にどのように影響するのか? 私たちが探している特性には、ラベル空間、ラベルの意味論、画像の多様性、データドメイン、事前学習された分布のデータ量などがあります。 下流の効果的なロバスト性(taori et al., 2020)に影響を与える主な要因はデータ量であるが、他の要因は重要性が限られている。 例えば、ImageNet事前学習クラスの数を4倍に減らし、クラス毎の画像数を4倍に増やす(つまり、全データ量を固定する)と、微調整モデルの堅牢性には影響しない。 我々は,iWildCam-WILDS分布シフトを下流のロバスト性試験として用いて,各種自然および合成データソースから抽出した事前学習分布について検討した。

関連論文リスト

• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks [39.71761440499148]
  グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。 より少ないが慎重に選択されたデータはGNNモデルに入力される。 実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T07:09:59Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
  この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。 以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T15:57:53Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• The Role of Pre-training Data in Transfer Learning [20.768366728182997]
  プレトレーニングデータ分布が複数ショットおよびフル微調整性能に与える影響について検討する。 プレトレーニングされたデータソースの選択は、数ショットの転送には不可欠であることがわかったが、その役割は微調整のためにより多くのデータが利用可能になるにつれて減少する。
  論文  参考訳（メタデータ） (2023-02-27T09:10:08Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Effect of large-scale pre-training on full and few-shot transfer learning for natural and medical images [2.030567625639093]
  我々は,自然(ImageNet-21k/1k)と医用胸部X線画像のいずれにおいても,大規模な事前トレーニングを行う。 自然画像領域と医用画像領域の両方の異なるターゲットデータセットを用いて、フルショットと少数ショットの転送を比較した。 我々の観察は、近縁なデータセットの事前トレーニングと転送は、事前トレーニング中にモデルとデータサイズが増加するという明らかな利点を示すが、ソースとターゲットデータセットがさらに離れている場合、そのような利点は明らかでないことを示す。
  論文  参考訳（メタデータ） (2021-05-31T21:55:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。