論文の概要: The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning
- arxiv url: http://arxiv.org/abs/2106.15831v1
- Date: Wed, 30 Jun 2021 06:21:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 00:25:50.933466
- Title: The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning
- Title(参考訳): 微調整による分布外ロバストネスの進化
- Authors: Anders Andreassen, Yasaman Bahri, Behnam Neyshabur, Rebecca Roelofs
- Abstract要約: このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。
より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。
本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
- 参考スコア(独自算出の注目度): 25.85044477227461
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although machine learning models typically experience a drop in performance
on out-of-distribution data, accuracies on in- versus out-of-distribution data
are widely observed to follow a single linear trend when evaluated across a
testbed of models. Models that are more accurate on the out-of-distribution
data relative to this baseline exhibit "effective robustness" and are
exceedingly rare. Identifying such models, and understanding their properties,
is key to improving out-of-distribution performance. We conduct a thorough
empirical investigation of effective robustness during fine-tuning and
surprisingly find that models pre-trained on larger datasets exhibit effective
robustness during training that vanishes at convergence. We study how
properties of the data influence effective robustness, and we show that it
increases with the larger size, more diversity, and higher example difficulty
of the dataset. We also find that models that display effective robustness are
able to correctly classify 10% of the examples that no other current testbed
model gets correct. Finally, we discuss several strategies for scaling
effective robustness to the high-accuracy regime to improve the
out-of-distribution accuracy of state-of-the-art models.
- Abstract(参考訳): 機械学習モデルは通常、分散外データのパフォーマンス低下を経験するが、モデルのテストベッドで評価した場合、分散内データと分散外データの精度は単一の線形傾向に従うことが広く観察される。
このベースラインに対するアウト・オブ・ディストリビューションデータでより正確であるモデルは「有効な堅牢性」を示し、極めて稀である。
このようなモデルを特定し、その特性を理解することは、分散性能を改善するための鍵となる。
我々は、微調整中に有効なロバスト性を徹底的に調査し、より大規模なデータセットで事前訓練されたモデルは、収束時に消滅するトレーニング中に効果的なロバスト性を示すことを驚くべきことに発見する。
データの特性が効果的なロバスト性にどのように影響するかを考察し,データセットの大きさ,多様性,データ例の難易度によって拡張することを示す。
また,有効なロバスト性を示すモデルでは,他のテストベッドモデルが正しく動作しない例の10%を正しく分類できることがわかった。
最後に,最先端モデルの分散精度を向上させるために,精度の高いシステムに対して効果的なロバスト性を高めるためのいくつかの戦略について論じる。
関連論文リスト
- Intriguing Properties of Data Attribution on Diffusion Models [36.23909974683141]
データ帰属は、望ましいアウトプットをトレーニングデータに戻そうとする。
データ属性は、高直感的または著作権のあるデータを適切に割り当てるためのモジュールになっている。
論文 参考訳(メタデータ) (2023-11-01T13:00:46Z) - Orthogonal Uncertainty Representation of Data Manifold for Robust
Long-Tailed Learning [52.021899899683675]
長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。
モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2023-10-16T05:50:34Z) - Striving for data-model efficiency: Identifying data externalities on
group performance [75.17591306911015]
信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。
我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。
以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
論文 参考訳(メタデータ) (2022-11-11T16:48:27Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳(メタデータ) (2022-10-28T17:52:10Z) - Improving Adversarial Robustness by Contrastive Guided Diffusion Process [19.972628281993487]
データ生成における拡散モデルを導くために,コントラスト誘導拡散プロセス(Contrastive-Guided Diffusion Process, DP)を提案する。
生成データ間の識別性の向上は, 対向的ロバスト性の向上に不可欠であることを示す。
論文 参考訳(メタデータ) (2022-10-18T07:20:53Z) - Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。
高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。
これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2022-10-12T17:54:59Z) - No One Representation to Rule Them All: Overlapping Features of Training
Methods [12.58238785151714]
ハイパフォーマンスモデルは、トレーニング方法論に関係なく、同様の予測をする傾向があります。
近年の研究では、大規模なコントラスト学習など、非常に異なるトレーニングテクニックが、競争的に高い精度で実現されている。
これらのモデルはデータの一般化に特化しており、より高いアンサンブル性能をもたらす。
論文 参考訳(メタデータ) (2021-10-20T21:29:49Z) - A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。
Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2021-06-02T05:40:12Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳(メタデータ) (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。