論文の概要: MetaShift: A Dataset of Datasets for Evaluating Contextual Distribution
Shifts and Training Conflicts
- arxiv url: http://arxiv.org/abs/2202.06523v1
- Date: Mon, 14 Feb 2022 07:40:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 14:06:17.131550
- Title: MetaShift: A Dataset of Datasets for Evaluating Contextual Distribution
Shifts and Training Conflicts
- Title（参考訳）: MetaShift: コンテキスト分散シフトの評価とトレーニング競合に対するデータセットのデータセット
- Authors: Weixin Liang and James Zou
- Abstract要約: ここでは410クラスにわたる12,868の自然画像の集合であるMetaShiftを紹介する。
それぞれのデータセットに何があるのかを明確に説明し、各データセット間の分散シフトの量を測定する距離スコアを提供する。
MetaShiftは、モデルトレーニング中のデータサブセット間の競合を可視化する上で、どのように役立つかを示します。
- 参考スコア（独自算出の注目度）: 20.09404891618634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the performance of machine learning models across diverse data
distributions is critically important for reliable applications. Motivated by
this, there is a growing focus on curating benchmark datasets that capture
distribution shifts. While valuable, the existing benchmarks are limited in
that many of them only contain a small number of shifts and they lack
systematic annotation about what is different across different shifts. We
present MetaShift--a collection of 12,868 sets of natural images across 410
classes--to address this challenge. We leverage the natural heterogeneity of
Visual Genome and its annotations to construct MetaShift. The key construction
idea is to cluster images using its metadata, which provides context for each
image (e.g. "cats with cars" or "cats in bathroom") that represent distinct
data distributions. MetaShift has two important benefits: first, it contains
orders of magnitude more natural data shifts than previously available. Second,
it provides explicit explanations of what is unique about each of its data sets
and a distance score that measures the amount of distribution shift between any
two of its data sets. We demonstrate the utility of MetaShift in benchmarking
several recent proposals for training models to be robust to data shifts. We
find that the simple empirical risk minimization performs the best when shifts
are moderate and no method had a systematic advantage for large shifts. We also
show how MetaShift can help to visualize conflicts between data subsets during
model training.
- Abstract（参考訳）: さまざまなデータ分布にわたる機械学習モデルのパフォーマンスを理解することは、信頼性の高いアプリケーションにとって極めて重要である。
これにより、分散シフトをキャプチャするベンチマークデータセットのキュレーションに重点が置かれている。
価値はあるものの、既存のベンチマークは少数のシフトしか含まないという点で制限されており、異なるシフトで何が違うのかについての体系的なアノテーションが欠如している。
本稿では,410クラスにわたる12,868組の自然画像のコレクションであるmetashiftを提案する。
我々は、Visual Genomeとそのアノテーションの自然な不均一性を利用してMetaShiftを構築します。
重要な構成概念は、メタデータを使用して画像をクラスタ化することであり、それぞれのイメージ(例えば、異なるデータ分布を表す"cat with cars"や"cat in bathroom"など)のコンテキストを提供する。
MetaShiftには2つの重要なメリットがある。
第二に、データセットのそれぞれについて何がユニークなのかを明確に説明し、その2つのデータセット間の分散シフト量を測定する距離スコアを提供する。
我々は、データシフトに対して堅牢なトレーニングモデルに関する最近の提案をベンチマークする上で、MetaShiftの有用性を実証する。
簡単な経験的リスク最小化は、シフトが適度であり、大きなシフトに対して体系的な優位性を持つ手法が存在しない場合に、最善を尽くす。
また、モデルトレーニング中にデータサブセット間の衝突を可視化する上で、MetaShiftがどのように役立つかを示す。
関連論文リスト
- Benchmarking Distribution Shift in Tabular Data with TableShift [32.071534049494076]
TableShiftは、表データの分散シフトベンチマークである。
財政、教育、公共政策、医療、市民参加を含む。
我々は、堅牢な学習法とドメイン一般化法とともに、いくつかの最先端データモデルを比較した大規模な研究を行う。
論文 参考訳（メタデータ） (2023-12-10T18:19:07Z) - Diversity-Aware Meta Visual Prompting [111.75306320834629]
DAM-VP(Diversity-Aware Meta Visual Prompting)は、学習済みのモデルを凍結したバックボーンで下流のタスクに転送する効率的なプロンプト手法である。
下流のデータセットを、多様性に富んだ方法で小さなサブセットにクラスタ化し、それぞれのサブセットがそれぞれ独自のプロンプトを持っている。
すべてのプロンプトはメタプロンプトで最適化され、複数のデータセットで学習される。
論文 参考訳（メタデータ） (2023-03-14T17:59:59Z) - Dataset Interfaces: Diagnosing Model Failures Using Controllable
Counterfactual Generation [85.13934713535527]
分散シフトは、機械学習モデルの主要な障害源である。
入力データセットとユーザが指定したシフトを与えられたフレームワークは、望ましいシフトを示すインスタンスを返す。
本稿では,このデータセットインターフェースをImageNetデータセットに適用することにより,分散シフトの多種多様さにまたがるモデル動作の学習が可能になることを示す。
論文 参考訳（メタデータ） (2023-02-15T18:56:26Z) - Estimating and Explaining Model Performance When Both Covariates and
Labels Shift [36.94826820536239]
両ラベルの結合シフトといくつかの特徴を考慮した新しい分散シフトモデル Sparse Joint Shift (SJS) を提案する。
また、SJSにおける分散シフトを特徴付けるアルゴリズムフレームワークSEESを提案し、ラベルなしで新しいデータ上でのモデルの性能を推定する。
論文 参考訳（メタデータ） (2022-09-18T01:16:16Z) - AnoShift: A Distribution Shift Benchmark for Unsupervised Anomaly
Detection [7.829710051617368]
本稿では,ネットワーク侵入検知のためのトラフィックデータセットである Kyoto-2006+ 上に構築された,時間とともに変化するデータを含む教師なし異常検出ベンチマークを提案する。
まず, 基本機能解析, t-SNE, および最適輸送手法を用いて, 年々の分布距離を計測する。
従来のアプローチからディープラーニングまで,さまざまなモデルでパフォーマンス劣化を検証する。
論文 参考訳（メタデータ） (2022-06-30T17:59:22Z) - A unified framework for dataset shift diagnostics [2.449909275410288]
教師付き学習技術は典型的には、訓練データが標的人口に由来すると仮定する。
しかし、データセットのシフトが頻繁に発生し、適切に考慮しなければ、予測器の性能が低下する可能性がある。
我々は、複数のデータセットシフトの定量化とテストを行うTectorShiftという、新しいフレキシブルなフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-17T13:34:45Z) - Deep learning model solves change point detection for multiple change
types [69.77452691994712]
変更点検出は、データ分散の急激な障害をキャッチすることを目的としている。
本稿では,マルチディストリビューションシナリオにおけるアプローチを提案する。
論文 参考訳（メタデータ） (2022-04-15T09:44:21Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z) - How to distribute data across tasks for meta-learning? [59.608652082495624]
タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。
この結果から,データ収集の簡便かつ効率的な手順が示唆された。
論文 参考訳（メタデータ） (2021-03-15T15:38:47Z) - Combat Data Shift in Few-shot Learning with Knowledge Graph [42.59886121530736]
現実世界のアプリケーションでは、少数ショットの学習パラダイムはデータシフトに悩まされることが多い。
既存の少数ショット学習アプローチのほとんどは、データシフトを考慮して設計されていない。
本稿では,タスク固有表現とタスク共有表現を抽出するメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-27T12:35:18Z) - WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。
分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。
本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
論文 参考訳（メタデータ） (2020-12-14T11:14:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。