論文の概要: Benchmarking Low-Shot Robustness to Natural Distribution Shifts

• arxiv url: http://arxiv.org/abs/2304.11263v2
• Date: Sat, 23 Sep 2023 20:46:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 03:01:48.607762
• Title: Benchmarking Low-Shot Robustness to Natural Distribution Shifts
• Title（参考訳）: 自然分布シフトに対する低ショットロバスト性ベンチマーク
• Authors: Aaditya Singh, Kartik Sarangmath, Prithvijit Chattopadhyay, Judy Hoffman
• Abstract要約: 異なる低ショット状態における様々な自然分布シフトに対するロバスト性について検討する。 他のモデルよりも堅牢な選択モデルはありません。 既存の介入は、フルショット方式であっても、一部のデータセットの堅牢性を改善するのに失敗する可能性がある。
• 参考スコア（独自算出の注目度）: 18.84297269860671
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robustness to natural distribution shifts has seen remarkable progress thanks to recent pre-training strategies combined with better fine-tuning methods. However, such fine-tuning assumes access to large amounts of labelled data, and the extent to which the observations hold when the amount of training data is not as high remains unknown. We address this gap by performing the first in-depth study of robustness to various natural distribution shifts in different low-shot regimes: spanning datasets, architectures, pre-trained initializations, and state-of-the-art robustness interventions. Most importantly, we find that there is no single model of choice that is often more robust than others, and existing interventions can fail to improve robustness on some datasets even if they do so in the full-shot regime. We hope that our work will motivate the community to focus on this problem of practical importance.
• Abstract（参考訳）: 自然分布へのロバストな変化は、最近の事前学習戦略とより良い微調整手法によって顕著に進展した。 しかし、このような微調整は大量のラベル付きデータへのアクセスを前提としており、訓練データの量がそれほど高くない場合の観測の程度は不明である。 このギャップに対処するために,我々は,データセットのスパンニング,アーキテクチャ,事前学習された初期化,最先端のロバストネス介入など,さまざまな低ショット環境における様々な自然分布シフトに対するロバストネスに関する最初の詳細な研究を行った。 最も重要なのは、他のモデルよりもロバストな選択モデルが存在しないことですし、既存の介入は、フルショットのシステムであっても、一部のデータセットのロバスト性を改善するのに失敗する可能性があります。 私たちの仕事がコミュニティに実用的重要性の問題に焦点を当てる動機になることを願っています。

関連論文リスト

• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Towards Robust Aspect-based Sentiment Analysis through Non-counterfactual Augmentations [40.71705332298682]
  非事実的データ拡張に依存する代替手法を提案する。 我々のアプローチはさらにABSAロバストネスベンチマークの新たな最先端を確立し、ドメイン間でうまく転送する。
  論文  参考訳（メタデータ） (2023-06-24T13:57:32Z)
• Non-adversarial Robustness of Deep Learning Methods for Computer Vision [0.0]
  非敵対的ロバスト性(英: non-adversarial robustness)、あるいは自然ロバスト性(英: natural robustness)は、ディープラーニングモデルの特性である。 本稿では,コンピュータビジョン手法のロバスト性向上のための最新の技術の概要を紹介する。
  論文  参考訳（メタデータ） (2023-05-24T10:21:31Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• On the contribution of pre-trained models to accuracy and utility in modeling distributed energy resources [0.0]
  本研究では,微調整の有無にかかわらず,事前学習モデルによる予測精度の向上を評価する。 事前学習されたモデルは異種エージェントに等しく改善するのだろうか。
  論文  参考訳（メタデータ） (2023-02-22T22:29:40Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization [64.61630743818024]
  画像スタイルの変化,画像のぼやけ度,地理的位置,カメラ操作などの4つの新しい現実分布シフトデータセットを導入する。 より大規模なモデルと人工的なデータ拡張を用いることで,先行研究の主張に反して,実世界の分散シフトの堅牢性を向上させることができることがわかった。 また,1000倍のラベル付きデータで事前訓練されたモデルに対して,最先端のモデルと性能を向上する新たなデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。