論文の概要: Still More Shades of Null: A Benchmark for Responsible Missing Value Imputation
- arxiv url: http://arxiv.org/abs/2409.07510v1
- Date: Wed, 11 Sep 2024 17:58:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 20:40:16.916529
- Title: Still More Shades of Null: A Benchmark for Responsible Missing Value Imputation
- Title（参考訳）: 依然としてNullの影: 責任を欠く価値のインプットのベンチマーク
- Authors: Falaah Arif Khan, Denys Herasymuk, Nazar Protsiv, Julia Stoyanovich,
- Abstract要約: 以下に示すのがShades-of-NULLであり、これは欠落した値の計算を行うためのベンチマークである。
我々は、ルビンの古典的なミス・コンプリート・アット・ランダムを超越した現実的な欠落シナリオをモデル化する。
我々は, 予測性能, 公正性, 安定性に基づいて, インピュータを一様に評価し, 生成したデータに基づいてトレーニングし, テストする。
- 参考スコア（独自算出の注目度）: 7.620967781722717
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present Shades-of-NULL, a benchmark for responsible missing value imputation. Our benchmark includes state-of-the-art imputation techniques, and embeds them into the machine learning development lifecycle. We model realistic missingness scenarios that go beyond Rubin's classic Missing Completely at Random (MCAR), Missing At Random (MAR) and Missing Not At Random (MNAR), to include multi-mechanism missingness (when different missingness patterns co-exist in the data) and missingness shift (when the missingness mechanism changes between training and test). Another key novelty of our work is that we evaluate imputers holistically, based on the predictive performance, fairness and stability of the models that are trained and tested on the data they produce. We use Shades-of-NULL to conduct a large-scale empirical study involving 20,952 experimental pipelines, and find that, while there is no single best-performing imputation approach for all missingness types, interesting performance patterns do emerge when comparing imputer performance in simpler vs. more complex missingness scenarios. Further, while predictive performance, fairness and stability can be seen as orthogonal, we identify trade-offs among them that arise due to the combination of missingness scenario, the choice of an imputer, and the architecture of the model trained on the data post-imputation. We make Shades-of-NULL publicly available, and hope to enable researchers to comprehensively and rigorously evaluate new missing value imputation methods on a wide range of evaluation metrics, in plausible and socially meaningful missingness scenarios.
- Abstract（参考訳）: 以下に示すのがShades-of-NULLであり、これは欠落した値の計算を行うためのベンチマークである。
我々のベンチマークには最先端の計算技術が含まれており、それらを機械学習開発ライフサイクルに組み込む。
我々は、ルビンの古典的なミス・アット・ランダム(MCAR)、ミス・アット・ランダム(MAR)、ミス・アット・ランダム(MNAR)を超えた現実的な欠落シナリオをモデル化し、マルチメカニズムの不足(データに異なる欠落パターンが共存する場合)と不足(トレーニングとテストの間に欠落メカニズムが変化した場合)を含む。
私たちの研究のもう1つの重要な特徴は、予測性能、公平性、モデルの安定性に基づいて、インプタを全体的評価し、それらが生成するデータに基づいてトレーニングし、テストすることです。
私たちはShades-of-NULLを使って20,952の実験パイプラインを含む大規模な実験的な研究を行い、すべての欠如タイプに対して最高のパフォーマンスの計算アプローチは存在しないが、複雑な欠如シナリオと比較して、インプタパフォーマンスの比較において興味深いパフォーマンスパターンが現れることに気付きました。
さらに、予測性能、公正性、安定性は直交的であると見なすことができるが、欠落シナリオ、インプタの選択、データポストインプットに基づいて訓練されたモデルのアーキテクチャの組み合わせによって生じるトレードオフを識別する。
私たちはShades-of-NULLを公開し、研究者が様々な評価指標に基づいて、有意義で社会的に意味のある欠落シナリオにおいて、新しい欠落値計算手法を包括的かつ厳格に評価できるようにすることを期待しています。
関連論文リスト
- Error-Driven Uncertainty Aware Training [7.702016079410588]
Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。
EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。
画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
論文 参考訳（メタデータ） (2024-05-02T11:48:14Z) - Evaluating AI systems under uncertain ground truth: a case study in
dermatology [44.80772162289557]
本稿では,アノテーションの不確実性を測定するための指標を提案し,評価のための不確実性調整指標を提案する。
本稿では,本フレームワークを皮膚条件分類に応用した症例スタディとして,アノテーションを診断の形で提供した画像について述べる。
論文 参考訳（メタデータ） (2023-07-05T10:33:45Z) - Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。
我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
論文 参考訳（メタデータ） (2023-04-13T17:56:08Z) - How Reliable is Your Regression Model's Uncertainty Under Real-World
Distribution Shifts? [46.05502630457458]
本研究では,異なるタイプの分散シフトを伴う8つの画像ベース回帰データセットのベンチマークを提案する。
分散シフトがない場合、メソッドは十分に校正されているが、ベンチマークデータセットの多くに非常に自信が持たれていることが分かっています。
論文 参考訳（メタデータ） (2023-02-07T18:54:39Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - Deep Generative Pattern-Set Mixture Models for Nonignorable Missingness [0.0]
無視できないデータと無視できないデータの両方をモデル化する可変オートエンコーダアーキテクチャを提案する。
モデルでは,観測されたデータと欠落マスクに基づいて,欠落したデータを欠落パターンにクラスタ化することを明示的に学習する。
当社のセットアップでは,無知かつ無知な欠如の特性をトレードオフすることで,両タイプのデータに適用することが可能である。
論文 参考訳（メタデータ） (2021-03-05T08:21:35Z) - Approaching Neural Network Uncertainty Realism [53.308409014122816]
自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。
マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。
自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
論文 参考訳（メタデータ） (2021-01-08T11:56:12Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳（メタデータ） (2020-07-14T15:47:37Z) - Uncertainty-Gated Stochastic Sequential Model for EHR Mortality
Prediction [6.170898159041278]
本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。
我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
論文 参考訳（メタデータ） (2020-03-02T04:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。