論文の概要: Shifts: A Dataset of Real Distributional Shift Across Multiple
Large-Scale Tasks
- arxiv url: http://arxiv.org/abs/2107.07455v1
- Date: Thu, 15 Jul 2021 16:59:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 14:16:47.248878
- Title: Shifts: A Dataset of Real Distributional Shift Across Multiple
Large-Scale Tasks
- Title（参考訳）: Shifts: 複数の大規模タスクにわたる実際の分散シフトのデータセット
- Authors: Andrey Malinin and Neil Band and German Chesnokov and Yarin Gal and
Mark J. F. Gales and Alexey Noskov and Andrey Ploskonosov and Liudmila
Prokhorenkova and Ivan Provilkov and Vatsal Raina and Vyas Raina and Mariya
Shmatova and Panos Tigas and Boris Yangel
- Abstract要約: 現場の現状を考えると、分散シフトの影響を受け、様々なモードのタスクの標準化された大規模データセットが必要である。
本研究では,不確実性推定と分布シフトに対するロバスト性評価のためのemphShiftsデータセットを提案する。
- 参考スコア（独自算出の注目度）: 44.61070965407907
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been significant research done on developing methods for improving
robustness to distributional shift and uncertainty estimation. In contrast,
only limited work has examined developing standard datasets and benchmarks for
assessing these approaches. Additionally, most work on uncertainty estimation
and robustness has developed new techniques based on small-scale regression or
image classification tasks. However, many tasks of practical interest have
different modalities, such as tabular data, audio, text, or sensor data, which
offer significant challenges involving regression and discrete or continuous
structured prediction. Thus, given the current state of the field, a
standardized large-scale dataset of tasks across a range of modalities affected
by distributional shifts is necessary. This will enable researchers to
meaningfully evaluate the plethora of recently developed uncertainty
quantification methods, as well as assessment criteria and state-of-the-art
baselines. In this work, we propose the \emph{Shifts Dataset} for evaluation of
uncertainty estimates and robustness to distributional shift. The dataset,
which has been collected from industrial sources and services, is composed of
three tasks, with each corresponding to a particular data modality: tabular
weather prediction, machine translation, and self-driving car (SDC) vehicle
motion prediction. All of these data modalities and tasks are affected by real,
`in-the-wild' distributional shifts and pose interesting challenges with
respect to uncertainty estimation. In this work we provide a description of the
dataset and baseline results for all tasks.
- Abstract（参考訳）: 分布シフトと不確実性推定に対するロバスト性を改善する手法の開発に関する研究が盛んに行われている。
対照的に、これらのアプローチを評価するための標準データセットとベンチマークの開発は、限られた作業のみが検討されている。
さらに、不確実性推定とロバスト性に関するほとんどの研究は、小さな回帰や画像分類タスクに基づく新しい技術を開発した。
しかし、実用的関心のあるタスクの多くは表データ、音声、テキスト、センサーデータといった異なるモダリティを持ち、回帰や離散的、あるいは連続的な構造化予測に関する大きな課題を提供する。
したがって、現場の現在の状況を考えると、分散シフトによって影響を受ける様々なモダリティにわたるタスクの標準化された大規模データセットが必要である。
これによって研究者は、最近開発された不確実な定量化手法の多元性を有意義に評価できるだけでなく、評価基準や最先端のベースラインも評価できる。
本研究では,不確実性推定と分布シフトに対するロバスト性を評価するためのemph{Shifts Dataset}を提案する。
産業ソースやサービスから収集されたデータセットは、3つのタスクで構成されており、それぞれが特定のデータモダリティ(表向きの天気予報、機械翻訳、自動運転車(SDC)の車両の動き予測)に対応する。
これらすべてのデータモダリティとタスクは、実際の'in-the-wild'分布シフトの影響を受け、不確実性推定に関して興味深い課題を提起する。
この作業では、データセットとすべてのタスクのベースライン結果について説明します。
関連論文リスト
- A Dataset for Evaluating Online Anomaly Detection Approaches for Discrete Multivariate Time Series [0.01874930567916036]
現在の公開データセットは小さすぎるため、多様ではない。
我々は、最先端のシミュレーションツールによって生成される多種多様な、広範囲で、非自明なデータセットという解決策を提案する。
トレーニングとテストサブセットが汚染された、クリーンなバージョンで提供されるように、データセットのさまざまなバージョンを利用可能にしています。
予想通り、ベースライン実験では、データセットの半教師付きバージョンでトレーニングされたアプローチが、教師なしバージョンよりも優れていた。
論文 参考訳（メタデータ） (2024-11-21T09:03:12Z) - Binary Quantification and Dataset Shift: An Experimental Investigation [54.14283123210872]
量子化は教師付き学習タスクであり、未学習データの集合のクラス有病率の予測器を訓練する。
定量化と他のタイプのデータセットシフトの関係は、いまだ大きく、未調査のままである。
本稿では,これらのシフトに影響を受けるデータセットの生成プロトコルを確立することにより,データセットシフトの種類を詳細に分類する手法を提案する。
論文 参考訳（メタデータ） (2023-10-06T20:11:27Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-04-17T01:33:24Z) - Shifts 2.0: Extending The Dataset of Real Distributional Shifts [25.31085238930148]
シフトデータセットを、高い社会的重要性を持つ工業的、高リスクな応用から得られた2つのデータセットで拡張する。
3次元磁気共鳴脳画像における白質多発性硬化症病変の分節化の課題と船舶の電力消費量の推定について検討した。
これらの新しいデータセットは、研究者が新しい状況における堅牢な一般化と不確実性推定をさらに探求することを可能にする。
論文 参考訳（メタデータ） (2022-06-30T16:51:52Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Evaluating Predictive Uncertainty and Robustness to Distributional Shift
Using Real World Data [0.0]
シフト天気予報データセットを用いて、一般的な回帰作業のためのメトリクスを提案する。
また,これらの指標を用いたベースライン手法の評価を行った。
論文 参考訳（メタデータ） (2021-11-08T17:32:10Z) - Estimating Predictive Uncertainty Under Program Data Distribution Shift [3.603932017607092]
明確に定義された不確実性は、モデルの出力が信頼されるべきである(または信用すべきでない)かどうかを示す。
既存の不確実性アプローチでは、異なるデータ分布からのサンプルのテストが信頼できないモデル予測を引き起こすと仮定している。
論文 参考訳（メタデータ） (2021-07-23T01:50:22Z) - Evaluating Model Robustness and Stability to Dataset Shift [7.369475193451259]
機械学習モデルの安定性を解析するためのフレームワークを提案する。
本手法では,アルゴリズムが性能の悪い分布を決定するために,元の評価データを用いる。
我々は,アルゴリズムの性能を"Worst-case"分布で推定する。
論文 参考訳（メタデータ） (2020-10-28T17:35:39Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。