論文の概要: The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning

• arxiv url: http://arxiv.org/abs/2106.15831v1
• Date: Wed, 30 Jun 2021 06:21:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 00:25:50.933466
• Title: The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning
• Title（参考訳）: 微調整による分布外ロバストネスの進化
• Authors: Anders Andreassen, Yasaman Bahri, Behnam Neyshabur, Rebecca Roelofs
• Abstract要約: このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。 より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。 本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
• 参考スコア（独自算出の注目度）: 25.85044477227461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although machine learning models typically experience a drop in performance on out-of-distribution data, accuracies on in- versus out-of-distribution data are widely observed to follow a single linear trend when evaluated across a testbed of models. Models that are more accurate on the out-of-distribution data relative to this baseline exhibit "effective robustness" and are exceedingly rare. Identifying such models, and understanding their properties, is key to improving out-of-distribution performance. We conduct a thorough empirical investigation of effective robustness during fine-tuning and surprisingly find that models pre-trained on larger datasets exhibit effective robustness during training that vanishes at convergence. We study how properties of the data influence effective robustness, and we show that it increases with the larger size, more diversity, and higher example difficulty of the dataset. We also find that models that display effective robustness are able to correctly classify 10% of the examples that no other current testbed model gets correct. Finally, we discuss several strategies for scaling effective robustness to the high-accuracy regime to improve the out-of-distribution accuracy of state-of-the-art models.
• Abstract（参考訳）: 機械学習モデルは通常、分散外データのパフォーマンス低下を経験するが、モデルのテストベッドで評価した場合、分散内データと分散外データの精度は単一の線形傾向に従うことが広く観察される。 このベースラインに対するアウト・オブ・ディストリビューションデータでより正確であるモデルは「有効な堅牢性」を示し、極めて稀である。 このようなモデルを特定し、その特性を理解することは、分散性能を改善するための鍵となる。 我々は、微調整中に有効なロバスト性を徹底的に調査し、より大規模なデータセットで事前訓練されたモデルは、収束時に消滅するトレーニング中に効果的なロバスト性を示すことを驚くべきことに発見する。 データの特性が効果的なロバスト性にどのように影響するかを考察し,データセットの大きさ,多様性,データ例の難易度によって拡張することを示す。 また,有効なロバスト性を示すモデルでは,他のテストベッドモデルが正しく動作しない例の10%を正しく分類できることがわかった。 最後に,最先端モデルの分散精度を向上させるために,精度の高いシステムに対して効果的なロバスト性を高めるためのいくつかの戦略について論じる。

関連論文リスト

• Clarifying Myths About the Relationship Between Shape Bias, Accuracy, and Robustness [18.55761892159021]
  ディープラーニングモデルは、トレーニングセットと同じ分布のイメージに対して評価すると、うまく機能する。 ディープラーニングモデルは、トレーニングセットと同じ分布のイメージに対して評価すると、うまく機能する。 モデルの入力画像に小さなぼかしを適用して、アウト・オブ・ディストリビューション(OOD)データでモデルに供給することで、モデルの精度を著しく低下させることができる。 データ拡張は、OODデータに対するモデルロバスト性を改善するための、十分に実践された方法の1つである。
  論文  参考訳（メタデータ） (2024-06-07T15:21:00Z)
• Bigger is not Always Better: Scaling Properties of Latent Diffusion Models [46.52780730073693]
  遅延拡散モデル (LDM) のスケーリング特性について, サンプリング効率に着目して検討した。 モデルサイズがサンプリング効率にどのように影響するかを,様々なサンプリングステップで詳細に調査する。 予測予算の下で運用する場合、より小さなモデルは、高品質な結果を生み出す上で、より大きな等価性を上回ることがよくあります。
  論文  参考訳（メタデータ） (2024-04-01T17:59:48Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning [52.021899899683675]
  長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。 モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-16T05:50:34Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
  サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。 高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。 これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T17:54:59Z)
• No One Representation to Rule Them All: Overlapping Features of Training Methods [12.58238785151714]
  ハイパフォーマンスモデルは、トレーニング方法論に関係なく、同様の予測をする傾向があります。 近年の研究では、大規模なコントラスト学習など、非常に異なるトレーニングテクニックが、競争的に高い精度で実現されている。 これらのモデルはデータの一般化に特化しており、より高いアンサンブル性能をもたらす。
  論文  参考訳（メタデータ） (2021-10-20T21:29:49Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。