論文の概要: ImageNet-RIB Benchmark: Large Pre-Training Datasets Don't Always Guarantee Robustness after Fine-Tuning
- arxiv url: http://arxiv.org/abs/2410.21582v2
- Date: Tue, 04 Feb 2025 21:37:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-06 14:25:30.496998
- Title: ImageNet-RIB Benchmark: Large Pre-Training Datasets Don't Always Guarantee Robustness after Fine-Tuning
- Title（参考訳）: ImageNet-RIBベンチマーク:大規模な事前トレーニングデータセットは、微調整後のロバストさを常に保証しない
- Authors: Jaedong Hwang, Brian Cheung, Zhang-Wei Hong, Akhilan Boopathy, Pulkit Agrawal, Ila Fiete,
- Abstract要約: 我々は、新しい堅牢な微調整ベンチマーク ImageNet-RIB (Robustness Inheritance Benchmark) を導入する。
最適なトランスポートによって測定された事前トレーニングデータセットと下流データセットの距離は、事前トレーニングデータセットでこのパフォーマンス劣化を予測する。
対照的に、関連する下流タスクを微調整した後のモデルロバスト性は、トレーニング前のデータセットが最も豊かで、最も多様である場合に最悪のものとなる。
- 参考スコア（独自算出の注目度）: 30.422932548359952
- License:
- Abstract: Highly performant large-scale pre-trained models promise to also provide a valuable foundation for learning specialized tasks, by fine-tuning the model to the desired task. By starting from a good general-purpose model, the goal is to achieve both specialization in the target task and maintain robustness. To assess the robustness of models on out-of-distribution samples after fine-tuning on downstream datasets, we introduce a new robust fine-tuning benchmark, ImageNet-RIB (Robustness Inheritance Benchmark). The benchmark consists of a set of related but distinct specialized (downstream) datasets; pre-trained models are fine-tuned on one dataset in the set and their robustness is assessed on the rest, iterating across all tasks for fine-tuning and assessment. The distance between the pre-training and downstream datasets, measured by optimal transport, predicts this performance degradation on the pre-training dataset. Though continual learning methods help maintain robustness, fine-tuning generally reduces generalization performance on related downstream tasks across models. Counterintuitively, model robustness after fine-tuning on related downstream tasks is the worst when the pre-training dataset is the richest and the most diverse. This suggests that starting with the strongest foundation model is not necessarily the best approach for performance on specialist tasks. ImageNet-RIB thus offers key insights for developing more resilient fine-tuning strategies and building robust machine learning models. https://jd730.github.io/projects/ImageNet-RIB
- Abstract（参考訳）: 高性能で大規模な事前訓練されたモデルは、モデルを望ましいタスクに微調整することで、専門的なタスクを学ぶための貴重な基盤を提供すると約束する。
優れた汎用モデルから始めることで、目標とするタスクの特殊化と堅牢性の維持を両立させることが目標となる。
下流データセットを微調整した後の分布外サンプルにおけるモデルのロバスト性を評価するために,新しい頑健な微調整ベンチマークであるImageNet-RIB(Robustness Inheritance Benchmark)を導入する。
事前トレーニングされたモデルは、セット内の1つのデータセットで微調整され、残りの部分で堅牢性が評価され、微調整と評価のためにすべてのタスクを反復する。
最適なトランスポートによって測定された事前トレーニングデータセットと下流データセットの距離は、事前トレーニングデータセットでこのパフォーマンス劣化を予測する。
連続的な学習手法は堅牢性を維持するのに役立つが、微調整は一般的にモデル全体の下流タスクの一般化性能を低下させる。
対照的に、関連する下流タスクを微調整した後のモデルロバスト性は、トレーニング前のデータセットが最も豊かで、最も多様である場合に最悪のものとなる。
これは、最強のファンデーションモデルから始めることが、必ずしも専門的なタスクのパフォーマンスに最適なアプローチであるとは限らないことを示唆している。
これにより、ImageNet-RIBはよりレジリエントな微調整戦略を開発し、堅牢な機械学習モデルを構築する上で重要な洞察を提供する。
https://jd730.github.io/projects/ImageNet-RIB
関連論文リスト
- Automatic Pruning of Fine-tuning Datasets for Transformer-based Language Models [13.340191056212692]
微調整タスクのトレーニングセットを対象とした自動データセット解析手法を提案する。
提案手法は,データセットのプルーニングに使用する複数のサブセットを提供する。
5つの下流タスクと2つの言語モデルの実験は、平均して、優勝チケットのサブセットを微調整すると、モデルの評価性能が0.1%上昇することを示している。
論文 参考訳（メタデータ） (2024-07-11T22:46:18Z) - Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework
for Enhancing Model Performance and Efficiency [9.460023981858319]
本稿では,AdaPruner と呼ばれる適応型 DAtaset PRUNing フレームワークを提案する。
AdaPrunerは、冗長なサンプルを期待プルーニング比率に反復的にプルークする。
トレーニングデータの最大10～30%をプルーニングしても、モデルパフォーマンスを著しく向上させることができる。
論文 参考訳（メタデータ） (2023-12-09T16:01:21Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳（メタデータ） (2023-11-03T17:29:46Z) - How to Train an Accurate and Efficient Object Detection Model on Any
Dataset [0.0]
オブジェクト検出訓練のためのデータセットに依存しないテンプレートを提案する。
慎重に選択され、事前訓練されたモデルと、さらなるトレーニングのための堅牢なトレーニングパイプラインで構成される。
私たちのソリューションは最初から動作し、幅広いデータセットに対して強力なベースラインを提供します。
論文 参考訳（メタデータ） (2022-11-30T17:09:01Z) - SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data [78.21197488065177]
近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。
本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
論文 参考訳（メタデータ） (2022-10-06T15:25:00Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。
我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。
我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
論文 参考訳（メタデータ） (2020-11-20T06:16:15Z) - Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。
プレトレーニング自体が多様性の優れた源であることが示される。
本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-14T07:59:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。