論文の概要: Robustness May be More Brittle than We Think under Different Degrees of Distribution Shifts

• arxiv url: http://arxiv.org/abs/2310.06622v1
• Date: Tue, 10 Oct 2023 13:39:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 15:28:59.858113
• Title: Robustness May be More Brittle than We Think under Different Degrees of Distribution Shifts
• Title（参考訳）: ロバスト性は分布シフトの異なる条件下で考えるよりも脆いかもしれない
• Authors: Kaican Li, Yifan Zhang, Lanqing Hong, Zhenguo Li, Nevin L. Zhang
• Abstract要約: 分散シフトの度合いが異なる場合、モデルの堅牢性はかなり不安定で不整合であることを示す。 我々は,CLIPのような大規模事前学習モデルが,新しい下流タスクの分分分布シフトに敏感であることが観察された。
• 参考スコア（独自算出の注目度）: 72.90906474654594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) generalization is a complicated problem due to the idiosyncrasies of possible distribution shifts between training and test domains. Most benchmarks employ diverse datasets to address this issue; however, the degree of the distribution shift between the training domains and the test domains of each dataset remains largely fixed. This may lead to biased conclusions that either underestimate or overestimate the actual OOD performance of a model. Our study delves into a more nuanced evaluation setting that covers a broad range of shift degrees. We show that the robustness of models can be quite brittle and inconsistent under different degrees of distribution shifts, and therefore one should be more cautious when drawing conclusions from evaluations under a limited range of degrees. In addition, we observe that large-scale pre-trained models, such as CLIP, are sensitive to even minute distribution shifts of novel downstream tasks. This indicates that while pre-trained representations may help improve downstream in-distribution performance, they could have minimal or even adverse effects on generalization in certain OOD scenarios of the downstream task if not used properly. In light of these findings, we encourage future research to conduct evaluations across a broader range of shift degrees whenever possible.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化は、トレーニング領域とテスト領域の間の分布シフトの特異性のために複雑な問題である。 ほとんどのベンチマークでは、この問題に対処するためにさまざまなデータセットを使用しているが、トレーニングドメインと各データセットのテストドメイン間の分散シフトの程度は、大半が固定されている。 これはモデルの実際のood性能を過小評価または過大評価する偏った結論につながる可能性がある。 私たちの研究は、幅広いシフト度をカバーするよりニュアンス的な評価設定に落ち着きます。 分散シフトの度合いが異なる場合,モデルの堅牢性は極めて不安定で不整合であり,従って,限られた範囲で評価結果から結論を導出する場合は,より慎重であることが示唆された。 さらに,クリップなどの大規模事前学習モデルが,新しい下流タスクの分単位分布シフトにも敏感であることも観察した。 これは、事前訓練された表現は下流の分散性能を改善するのに役立つが、適切に使用しなければ下流のタスクの特定のoodシナリオの一般化に最小、あるいは悪影響を及ぼす可能性があることを示している。 これらの知見に照らして,我々は今後の研究において,可能な限り広い範囲のシフト度で評価を行うことを奨励する。

関連論文リスト

• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Empirical Study on Optimizer Selection for Out-of-Distribution Generalization [16.386766049451317]
  現代のディープラーニングシステムは、テストデータ分布がトレーニングデータ分布とわずかに異なる場合、うまく一般化しない。 本研究では,分布シフトの異なるクラスに対して,一般的な一階述語一般化の性能について検討する。
  論文  参考訳（メタデータ） (2022-11-15T23:56:30Z)
• Improving Out-of-Distribution Generalization by Adversarial Training with Structured Priors [17.936426699670864]
  サンプルワイド・アドバイザリ・トレーニング (AT) では, アウト・オブ・ディストリビューション (OOD) の一般化が限定的に改善されていることを示す。 OOD-robustモデルのトレーニングのために,低ランク構造をもつ2つのAT変種を提案する。 提案手法は,経験的リスク最小化(ERM)とサンプルワイドATより優れている。
  論文  参考訳（メタデータ） (2022-10-13T07:37:42Z)
• Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
  私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
  論文  参考訳（メタデータ） (2022-07-19T12:52:33Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。