論文の概要: Ensembling Shift Detectors: an Extensive Empirical Evaluation
- arxiv url: http://arxiv.org/abs/2106.14608v1
- Date: Mon, 28 Jun 2021 12:21:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 17:58:09.291991
- Title: Ensembling Shift Detectors: an Extensive Empirical Evaluation
- Title(参考訳): センジングシフト検出器:広範囲な経験的評価
- Authors: Simona Maggio and L\'eo Dreyfus-Schmidt
- Abstract要約: データセットシフトという用語は、機械学習モデルをトレーニングするために使用されるデータが、モデルが動作する場所と異なる状況を指す。
本稿では,各検出器の統計的テストの重要度をデータセットに調整しながら,相補的なシフト検出器をアンサンブルする,単純かつ強力な手法を提案する。
- 参考スコア(独自算出の注目度): 0.2538209532048867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The term dataset shift refers to the situation where the data used to train a
machine learning model is different from where the model operates. While
several types of shifts naturally occur, existing shift detectors are usually
designed to address only a specific type of shift. We propose a simple yet
powerful technique to ensemble complementary shift detectors, while tuning the
significance level of each detector's statistical test to the dataset. This
enables a more robust shift detection, capable of addressing all different
types of shift, which is essential in real-life settings where the precise
shift type is often unknown. This approach is validated by a large-scale
statistically sound benchmark study over various synthetic shifts applied to
real-world structured datasets.
- Abstract(参考訳): データセットシフトという用語は、機械学習モデルをトレーニングするために使用されるデータが、モデルが動作する場所と異なる状況を指す。
いくつかのシフトは自然に発生するが、既存のシフト検出器は特定のシフトにのみ対処するように設計されている。
本稿では,各検出器の統計テストの重要度レベルをデータセットに調整しながら,相補的なシフト検出器を合奏する簡易かつ強力な手法を提案する。
これにより、より堅牢なシフト検出が可能となり、正確なシフトタイプが不明な実生活において不可欠な、あらゆる種類のシフトに対処することができる。
このアプローチは、実世界の構造化データセットに適用された様々な合成シフトに関する大規模な統計的音響ベンチマークによって検証される。
関連論文リスト
- Adversarial Learning for Feature Shift Detection and Correction [45.65548560695731]
機能シフトは、複数のセンサデータ、一部のセンサが機能不全である、あるいは構造化データ、欠陥のある標準化とデータ処理パイプラインが誤った機能につながる、など、多くのデータセットで起こりうる。
そこで本研究では,2つの分布を区別するために訓練された複数の識別器から得られる情報を用いて,破損した特徴を検知し,それらを修正することにより,データセット間の分布シフトを除去する。
論文 参考訳(メタデータ) (2023-12-07T18:58:40Z) - Binary Quantification and Dataset Shift: An Experimental Investigation [54.14283123210872]
量子化は教師付き学習タスクであり、未学習データの集合のクラス有病率の予測器を訓練する。
定量化と他のタイプのデータセットシフトの関係は、いまだ大きく、未調査のままである。
本稿では,これらのシフトに影響を受けるデータセットの生成プロトコルを確立することにより,データセットシフトの種類を詳細に分類する手法を提案する。
論文 参考訳(メタデータ) (2023-10-06T20:11:27Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳(メタデータ) (2023-04-17T01:33:24Z) - Dataset Interfaces: Diagnosing Model Failures Using Controllable
Counterfactual Generation [85.13934713535527]
分散シフトは、機械学習モデルの主要な障害源である。
入力データセットとユーザが指定したシフトを与えられたフレームワークは、望ましいシフトを示すインスタンスを返す。
本稿では,このデータセットインターフェースをImageNetデータセットに適用することにより,分散シフトの多種多様さにまたがるモデル動作の学習が可能になることを示す。
論文 参考訳(メタデータ) (2023-02-15T18:56:26Z) - A unified framework for dataset shift diagnostics [2.449909275410288]
教師付き学習技術は典型的には、訓練データが標的人口に由来すると仮定する。
しかし、データセットのシフトが頻繁に発生し、適切に考慮しなければ、予測器の性能が低下する可能性がある。
我々は、複数のデータセットシフトの定量化とテストを行うTectorShiftという、新しいフレキシブルなフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-17T13:34:45Z) - Towards Data-Efficient Detection Transformers [77.43470797296906]
我々は、ほとんどの検出トランスフォーマーが、小さなデータセットで大きなパフォーマンス低下に悩まされていることを示す。
我々はデータ効率に影響を与える要因を、データ効率のRCNNから代表DETRへのステップバイステップ遷移によって実証的に分析する。
本稿では,よりリッチな監視とデータ効率向上を目的とした,シンプルながら効果的なラベル拡張手法を提案する。
論文 参考訳(メタデータ) (2022-03-17T17:56:34Z) - Exploring Covariate and Concept Shift for Detection and Calibration of
Out-of-Distribution Data [77.27338842609153]
キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。
分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。
我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
論文 参考訳(メタデータ) (2021-10-28T15:42:55Z) - Detection of Dataset Shifts in Learning-Enabled Cyber-Physical Systems
using Variational Autoencoder for Regression [1.5039745292757671]
回帰問題に対してデータセットシフトを効果的に検出する手法を提案する。
提案手法は帰納的共形異常検出に基づいており,回帰モデルに変分オートエンコーダを用いる。
自動運転車用オープンソースシミュレータに実装された高度緊急ブレーキシステムを用いて,本手法を実証する。
論文 参考訳(メタデータ) (2021-04-14T03:46:37Z) - Robust Classification under Class-Dependent Domain Shift [29.54336432319199]
本稿では,クラス依存ドメインシフト(class-dependent domain shift)と呼ぶ,特別なタイプのデータセットシフトについて検討する。
入力データはラベルに依存し、データのシフトは既知の変数によって完全に説明され、シフトを制御する変数はラベルに依存することができ、ラベル分布にシフトはない。
論文 参考訳(メタデータ) (2020-07-10T12:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。