論文の概要: Establishing strong imputation performance of a denoising autoencoder in
a wide range of missing data problems
- arxiv url: http://arxiv.org/abs/2004.02584v1
- Date: Mon, 6 Apr 2020 12:00:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 05:43:10.940203
- Title: Establishing strong imputation performance of a denoising autoencoder in
a wide range of missing data problems
- Title(参考訳): 広範囲欠落データ問題における雑音除去オートエンコーダの強いインプテーション性能の確立
- Authors: Najmeh Abiri, Bj\"orn Linse, Patrik Ed\'en and Mattias Ohlsson
- Abstract要約: トレーニングと計算の両方に一貫したフレームワークを開発します。
結果と最先端の計算手法を比較検討した。
開発されたオートエンコーダは、初期データ破損のあらゆる範囲において最小の誤差を得た。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Dealing with missing data in data analysis is inevitable. Although powerful
imputation methods that address this problem exist, there is still much room
for improvement. In this study, we examined single imputation based on deep
autoencoders, motivated by the apparent success of deep learning to efficiently
extract useful dataset features. We have developed a consistent framework for
both training and imputation. Moreover, we benchmarked the results against
state-of-the-art imputation methods on different data sizes and
characteristics. The work was not limited to the one-type variable dataset; we
also imputed missing data with multi-type variables, e.g., a combination of
binary, categorical, and continuous attributes. To evaluate the imputation
methods, we randomly corrupted the complete data, with varying degrees of
corruption, and then compared the imputed and original values. In all
experiments, the developed autoencoder obtained the smallest error for all
ranges of initial data corruption.
- Abstract(参考訳): データ分析で欠落したデータを扱うのは避けられない。
この問題に対処する強力なインプテーションメソッドは存在するが、改善の余地はまだたくさんある。
本研究では,ディープラーニングが有効なデータセットを効率的に抽出する上での明らかな成功を動機とする,深層オートエンコーダに基づく単一インプテーションについて検討した。
トレーニングと計算の両方に一貫したフレームワークを開発しました。
さらに,データサイズや特性の異なるインプテーション手法に対して,結果のベンチマークを行った。
この作業は1タイプの変数データセットに限らず、バイナリ、カテゴリ、連続的な属性の組み合わせなど、欠落したデータをマルチタイプの変数でインプットしました。
インプテーション法を評価するために, 不正の程度を異にしつつ, 完全なデータをランダムに破壊し, インプテーション値と原値を比較した。
すべての実験において、開発したオートエンコーダは、初期データのあらゆる範囲で最小の誤差を得た。
関連論文リスト
- Stochastic Amortization: A Unified Approach to Accelerate Feature and
Data Attribution [67.28273187033693]
アモート化(amortization)と呼ばれる,所望の出力を直接予測するネットワークのトレーニングは安価で,驚くほど効果的であることを示す。
このアプローチは、いくつかの特徴属性とデータ評価手法を著しく加速し、しばしば既存のアプローチよりも桁違いにスピードアップする。
論文 参考訳(メタデータ) (2024-01-29T03:42:37Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳(メタデータ) (2022-12-06T12:42:11Z) - Towards Robust Dataset Learning [90.2590325441068]
本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。
ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
論文 参考訳(メタデータ) (2022-11-19T17:06:10Z) - Explainable Data Imputation using Constraints [4.674053902991301]
異なるデータ型値とその関連制約に基づくデータ計算のための新しいアルゴリズムを提案する。
我々のアルゴリズムは、欠落した値を暗示するだけでなく、すべての計算に使用される属性の意義を記述した人間の読みやすい説明を生成する。
論文 参考訳(メタデータ) (2022-05-10T08:06:26Z) - Latent Vector Expansion using Autoencoder for Anomaly Detection [1.370633147306388]
オートエンコーダの特徴を利用して,低次元から高次元の潜在ベクトルを訓練する。
不均衡なデータの分類性能を向上させる潜在ベクトル展開オートエンコーダモデルを提案する。
論文 参考訳(メタデータ) (2022-01-05T02:28:38Z) - Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。
本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。
この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。
本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
論文 参考訳(メタデータ) (2021-06-11T01:36:08Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳(メタデータ) (2021-04-06T22:53:45Z) - Online Missing Value Imputation and Change Point Detection with the
Gaussian Copula [21.26330349034669]
実世界のデータサイエンスにとって、値計算の欠如は不可欠である。
ガウスコプラを用いた混合データに対するオンライン計算アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-09-25T16:27:47Z) - Evaluating representations by the complexity of learning low-loss
predictors [55.94170724668857]
下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。
本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
論文 参考訳(メタデータ) (2020-09-15T22:06:58Z) - Causal Discovery from Incomplete Data using An Encoder and Reinforcement
Learning [2.4469484645516837]
新たなエンコーダと強化学習(RL)を用いて不完全データから因果構造を発見する手法を提案する。
エンコーダは、データ計算の欠如と特徴抽出のために設計されている。
本手法は不完全な観測データを入力として、因果構造グラフを生成する。
論文 参考訳(メタデータ) (2020-06-09T23:33:47Z) - Multiple Imputation with Denoising Autoencoder using Metamorphic Truth
and Imputation Feedback [0.0]
データの内部表現を学習するために,Denoising Autoencoder を用いた多重命令モデルを提案する。
我々は、属性の統計的整合性を維持するために、変成真理と帰納フィードバックの新たなメカニズムを用いる。
提案手法は,多くの標準的なテストケースにおいて,様々な欠落メカニズムや欠落したデータのパターンに対するインパルスの効果を検証し,他の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-02-19T18:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。