論文の概要: ImageNet-RIB Benchmark: Large Pre-Training Datasets Don't Guarantee Robustness after Fine-Tuning

• arxiv url: http://arxiv.org/abs/2410.21582v1
• Date: Mon, 28 Oct 2024 22:33:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:42:11.376489
• Title: ImageNet-RIB Benchmark: Large Pre-Training Datasets Don't Guarantee Robustness after Fine-Tuning
• Title（参考訳）: ImageNet-RIBベンチマーク:大規模な事前トレーニングデータセットは、微調整後のロバストさを保証しない
• Authors: Jaedong Hwang, Brian Cheung, Zhang-Wei Hong, Akhilan Boopathy, Pulkit Agrawal, Ila Fiete,
• Abstract要約: 我々は、新しい堅牢な微調整ベンチマーク ImageNet-RIB (Robustness Inheritance Benchmark) を導入する。 ベンチマークは関連するが、個別の(ダウンストリーム)タスクで構成されている。 連続学習法であるEWCとLwFは微調整後の堅牢性を維持していることがわかった。
• 参考スコア（独自算出の注目度）: 30.422932548359952
• License:
• Abstract: Highly performant large-scale pre-trained models promise to also provide a valuable foundation for learning specialized tasks, by fine-tuning the model to the desired task. By starting from a good general-purpose model, the goal is to achieve both specialization in the target task and maintain robustness. To assess the robustness of models to out-of-distribution samples after fine-tuning on downstream datasets, we introduce a new robust fine-tuning benchmark, ImageNet-RIB (Robustness Inheritance Benchmark). The benchmark consists of a set of related but distinct specialized (downstream) tasks; pre-trained models are fine-tuned on one task in the set and their robustness is assessed on the rest, iterating across all tasks for fine-tuning and assessment. We find that the continual learning methods, EWC and LwF maintain robustness after fine-tuning though fine-tuning generally does reduce performance on generalization to related downstream tasks across models. Not surprisingly, models pre-trained on large and rich datasets exhibit higher initial robustness across datasets and suffer more pronounced degradation during fine-tuning. The distance between the pre-training and downstream datasets, measured by optimal transport, predicts this performance degradation on the pre-training dataset. However, counterintuitively, model robustness after fine-tuning on related downstream tasks is the worst when the pre-training dataset is the richest and the most diverse. This suggests that starting with the strongest foundation model is not necessarily the best approach for performance on specialist tasks. The benchmark thus offers key insights for developing more resilient fine-tuning strategies and building robust machine learning models. https://jd730.github.io/projects/ImageNet-RIB
• Abstract（参考訳）: 高性能で大規模な事前訓練されたモデルは、モデルを望ましいタスクに微調整することで、専門的なタスクを学ぶための貴重な基盤を提供すると約束する。 優れた汎用モデルから始めることで、目標とするタスクの特殊化と堅牢性の維持を両立させることが目標となる。 下流データセットの微調整後の分布外サンプルに対するモデルのロバスト性を評価するために,新しいロバストな微調整ベンチマークであるImageNet-RIB(Robustness Inheritance Benchmark)を導入する。 事前訓練されたモデルは、セット内の1つのタスクで微調整され、残りのタスクで頑健さが評価され、微調整と評価のためにすべてのタスクを反復する。 連続学習法であるEWCとLwFは、微調整後に頑健性を維持するが、微調整は一般的にモデル全体の下流タスクに対する一般化における性能を低下させる。 当然のことながら、大規模でリッチなデータセットで事前トレーニングされたモデルは、データセット全体の初期ロバスト性を高め、微調整中により顕著な劣化を被る。 最適なトランスポートによって測定された事前トレーニングデータセットと下流データセットの距離は、事前トレーニングデータセットでこのパフォーマンス劣化を予測する。 しかし、関連する下流タスクを微調整した後のモデルロバスト性は、トレーニング前のデータセットが最も豊かで、最も多様である場合に最悪のものとなる。 これは、最強の基盤モデルから始めることが、必ずしも専門的なタスクのパフォーマンス向上のためのベストなアプローチであるとは限らないことを示唆している。 このベンチマークは、よりレジリエントな微調整戦略を開発し、堅牢な機械学習モデルを構築する上で、重要な洞察を提供する。 https://jd730.github.io/projects/ImageNet-RIB

関連論文リスト

• Automatic Pruning of Fine-tuning Datasets for Transformer-based Language Models [13.340191056212692]
  微調整タスクのトレーニングセットを対象とした自動データセット解析手法を提案する。 提案手法は,データセットのプルーニングに使用する複数のサブセットを提供する。 5つの下流タスクと2つの言語モデルの実験は、平均して、優勝チケットのサブセットを微調整すると、モデルの評価性能が0.1%上昇することを示している。
  論文  参考訳（メタデータ） (2024-07-11T22:46:18Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework for Enhancing Model Performance and Efficiency [9.460023981858319]
  本稿では,AdaPruner と呼ばれる適応型 DAtaset PRUNing フレームワークを提案する。 AdaPrunerは、冗長なサンプルを期待プルーニング比率に反復的にプルークする。 トレーニングデータの最大10～30%をプルーニングしても、モデルパフォーマンスを著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-12-09T16:01:21Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Towards Inadequately Pre-trained Models in Transfer Learning [37.66278189011681]
  より優れたImageNet事前訓練モデルでは、下流タスクへの転送性が向上することが示されている。 本稿では,同じ事前学習過程において,十分に訓練されていない中新世のモデルが,完全に訓練されたモデルより優れていることを示す。 我々の発見は、事前学習中、モデルはまず大きな特異値に対応するスペクトル成分を学習する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2022-03-09T12:15:55Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
  本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。 我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
  論文  参考訳（メタデータ） (2020-11-20T06:16:15Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。