論文の概要: A Fine-Grained Analysis on Distribution Shift

• arxiv url: http://arxiv.org/abs/2110.11328v1
• Date: Thu, 21 Oct 2021 17:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 17:39:28.032018
• Title: A Fine-Grained Analysis on Distribution Shift
• Title（参考訳）: 分布シフトの細粒度解析
• Authors: Olivia Wiles and Sven Gowal and Florian Stimberg and Sylvestre Alvise-Rebuffi and Ira Ktena and Krishnamurthy (Dj) Dvijotham and Taylan Cemgil
• Abstract要約: 本稿では,分布変化の微粒化解析を可能にするフレームワークを提案する。 合成と実世界の両方のデータセットにまたがる5つのカテゴリにグループ分けされた19の異なる手法を評価する。 私たちのフレームワークは簡単に拡張でき、新しいメソッド、シフト、データセットを含めることができます。
• 参考スコア（独自算出の注目度）: 24.084676204709723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robustness to distribution shifts is critical for deploying machine learning models in the real world. Despite this necessity, there has been little work in defining the underlying mechanisms that cause these shifts and evaluating the robustness of algorithms across multiple, different distribution shifts. To this end, we introduce a framework that enables fine-grained analysis of various distribution shifts. We provide a holistic analysis of current state-of-the-art methods by evaluating 19 distinct methods grouped into five categories across both synthetic and real-world datasets. Overall, we train more than 85K models. Our experimental framework can be easily extended to include new methods, shifts, and datasets. We find, unlike previous work~\citep{Gulrajani20}, that progress has been made over a standard ERM baseline; in particular, pretraining and augmentations (learned or heuristic) offer large gains in many cases. However, the best methods are not consistent over different datasets and shifts.
• Abstract（参考訳）: 分散シフトに対するロバストさは、実世界で機械学習モデルをデプロイするために重要である。 この必要性にもかかわらず、これらのシフトの原因となるメカニズムを定義し、複数の異なる分散シフトにわたるアルゴリズムの堅牢性を評価する作業はほとんど行われていない。 そこで本研究では,分布変化の微粒化解析を可能にするフレームワークを提案する。 合成と実世界の両方のデータセットにまたがる5つのカテゴリに分類される19の異なる手法を評価することにより、現在の最先端手法の総合分析を行う。 全体として、85Kモデル以上をトレーニングしています。 我々の実験フレームワークは簡単に拡張でき、新しいメソッド、シフト、データセットを含むことができます。 従来の研究とは違って、標準的なERMベースライン上での進歩は行われており、特に事前学習と拡張(学習またはヒューリスティック)は多くの場合大きな利益をもたらす。 しかし、最良の方法は異なるデータセットやシフトに対して一貫性がない。

関連論文リスト

• Distributionally Robust Safe Sample Elimination under Covariate Shift [16.85444622474742]
  1つのトレーニングデータセットを使用して、わずかに異なるデータ分布をまたいだ複数のモデルをトレーニングする、機械学習のセットアップについて検討する。 分散ロバスト(DR)最適化と安全なサンプルスクリーニング(SSS)を組み合わせたDRSSS法を提案する。 この方法の主な利点は、縮小データセットでトレーニングされたモデルが、可能なすべての異なる環境において、フルデータセットでトレーニングされたモデルと同等に実行されることである。
  論文  参考訳（メタデータ） (2024-06-10T01:46:42Z)
• Multiply Robust Estimation for Local Distribution Shifts with Multiple Domains [9.429772474335122]
  我々は、全人口の複数のセグメントにまたがってデータ分布が変化するシナリオに焦点を当てる。 そこで本研究では,各セグメントのモデル性能を改善するために,二段階多重ロバスト推定法を提案する。 本手法は,市販の機械学習モデルを用いて実装されるように設計されている。
  論文  参考訳（メタデータ） (2024-02-21T22:01:10Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Rethinking Distribution Shifts: Empirical Analysis and Inductive Modeling for Tabular Data [30.518020409197767]
  5つのデータセットと6万のメソッド構成にまたがる自然なシフトを含む実験的なテストベッドを構築します。 ML文献のX$(co)シフトに重きを置いているのとは対照的に、Y|X$-shiftsはテストベッドでもっとも一般的です。
  論文  参考訳（メタデータ） (2023-07-11T14:25:10Z)
• Change is Hard: A Closer Look at Subpopulation Shift [48.0369745740936]
  本稿では,部分群における共通シフトを識別し,説明する統一的なフレームワークを提案する。 次に、ビジョン、言語、医療領域の12の現実世界のデータセットで評価された20の最先端アルゴリズムのベンチマークを作成します。
  論文  参考訳（メタデータ） (2023-02-23T18:59:56Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)
• Structurally Diverse Sampling Reduces Spurious Correlations in Semantic Parsing Datasets [51.095144091781734]
  本稿では,構造化された出力を持つラベル付きインスタンスプールから,構造的に多様なインスタンス群をサンプリングする新しいアルゴリズムを提案する。 提案アルゴリズムは, 合成テンプレート分割だけでなく, 従来のID分割においても, 従来のアルゴリズムよりも競合的に動作することを示す。 一般に、多種多様な列車集合は、10組のデータセット分割ペアのうち9組で同じ大きさのランダムな訓練集合よりも優れた一般化をもたらす。
  論文  参考訳（メタデータ） (2022-03-16T07:41:27Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
  分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。 分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。 本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
  論文  参考訳（メタデータ） (2020-12-14T11:14:56Z)
• The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization [64.61630743818024]
  画像スタイルの変化,画像のぼやけ度,地理的位置,カメラ操作などの4つの新しい現実分布シフトデータセットを導入する。 より大規模なモデルと人工的なデータ拡張を用いることで,先行研究の主張に反して,実世界の分散シフトの堅牢性を向上させることができることがわかった。 また,1000倍のラベル付きデータで事前訓練されたモデルに対して,最先端のモデルと性能を向上する新たなデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。