論文の概要: Iterative missing value imputation based on feature importance

• arxiv url: http://arxiv.org/abs/2311.08005v1
• Date: Tue, 14 Nov 2023 09:03:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 14:51:13.130409
• Title: Iterative missing value imputation based on feature importance
• Title（参考訳）: 特徴量に基づく反復的欠落値計算
• Authors: Cong Guo, Chun Liu, Wei Yang
• Abstract要約: 我々は特徴量を考慮した計算手法を考案した。 このアルゴリズムは、反復的に行列補完と特徴重要学習を行い、具体的には、特徴重要度を含む充足損失に基づいて行列補完を行う。 これらのデータセットの結果は,提案手法が既存の5つの計算アルゴリズムより優れていることを一貫して示している。
• 参考スコア（独自算出の注目度）: 6.300806721275004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many datasets suffer from missing values due to various reasons,which not only increases the processing difficulty of related tasks but also reduces the accuracy of classification. To address this problem, the mainstream approach is to use missing value imputation to complete the dataset. Existing imputation methods estimate the missing parts based on the observed values in the original feature space, and they treat all features as equally important during data completion, while in fact different features have different importance. Therefore, we have designed an imputation method that considers feature importance. This algorithm iteratively performs matrix completion and feature importance learning, and specifically, matrix completion is based on a filling loss that incorporates feature importance. Our experimental analysis involves three types of datasets: synthetic datasets with different noisy features and missing values, real-world datasets with artificially generated missing values, and real-world datasets originally containing missing values. The results on these datasets consistently show that the proposed method outperforms the existing five imputation algorithms.To the best of our knowledge, this is the first work that considers feature importance in the imputation model.
• Abstract（参考訳）: 多くのデータセットは、関連するタスクの処理の困難さを増加させるだけでなく、分類の精度を低下させる様々な理由により、値の欠如に悩まされている。 この問題に対処するため、主流のアプローチは、データセットの完了に欠落した値計算を使用することである。 既存の計算手法では、元の特徴空間で観測された値に基づいて欠落した部分を推定し、全ての特徴をデータ補完において等しく重要なものとして扱う。 そこで我々は特徴量を考慮した計算手法を考案した。 このアルゴリズムは、反復的に行列補完と特徴重要学習を行い、具体的には、特徴重要度を含む充足損失に基づいて行列補完を行う。 実験では,ノイズ特性と欠落値の異なる合成データセット,人工的に生成した欠落値を持つ実世界データセット,欠落値を含む実世界データセットの3種類のデータセットを用いて実験を行った。 これらのデータセット上の結果は、提案手法が既存の5つのインプテーションアルゴリズムを上回っていることを一貫して示しており、我々の知る限りでは、インプテーションモデルにおける特徴量の重要性を考察した最初の作品である。

関連論文リスト

• On the Performance of Imputation Techniques for Missing Values on Healthcare Datasets [0.0]
  値やデータの欠落は、実世界のデータセット、特に医療データの一般的な特徴のひとつだ。 本研究は, 平均計算法, 中間計算法, 最終観測法 (LOCF) 計算法, K-Nearest Neighbor (KNN) 計算法, 補間計算法, ミスフォレスト計算法, 連鎖方程式による多重計算法の比較である。 その結果,ミスフォレスト・インキュベーションが最善であり,MICEインキュベーションが最善であることがわかった。
  論文  参考訳（メタデータ） (2024-03-13T18:07:17Z)
• A novel feature selection framework for incomplete data [0.904776731152113]
  既存の方法は不完全データを完了し、インプットされたデータに基づいて特徴選択を行う。 命令と特徴選択は完全に独立したステップであるため、命令の間は特徴の重要性を考慮できない。 本稿では,特徴の重要度を考慮した不完全なデータ特徴選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T09:45:14Z)
• Transformed Distribution Matching for Missing Value Imputation [7.754689608872696]
  欠落した値の計算の鍵となるのは、不完全なサンプルでデータ分布をキャプチャし、それに従って欠落した値をインプットすることだ。 本稿では,2つのデータバッチの欠落を,深い可逆関数を通して潜在空間に変換することで補足する手法を提案する。 変換を学習し、欠落した値を同時にインプットするために、単純でモチベーションのよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T23:44:30Z)
• To Impute or not to Impute? -- Missing Data in Treatment Effect Estimation [84.76186111434818]
  我々は,MCM(Mixed Con founded missingness)と呼ばれる新しい欠損機構を同定し,ある欠損度が治療選択を判断し,他の欠損度が治療選択によって決定されることを示した。 本研究は,全てのデータを因果的に入力すると,不偏推定を行うために必要な情報を効果的に除去するので,処理効果のモデルが貧弱になることを示す。 私たちのソリューションは選択的計算であり、CMMからの洞察を使って、どの変数をインプットすべきで、どの変数をインプットすべきでないかを正確に知らせる。
  論文  参考訳（メタデータ） (2022-02-04T12:08:31Z)
• MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.90843777097606]
  欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。 MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。 我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2021-11-04T22:38:18Z)
• Doing Great at Estimating CATE? On the Neglected Assumptions in Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
  もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。 異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。 ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
  論文  参考訳（メタデータ） (2021-07-28T13:21:27Z)
• FCMI: Feature Correlation based Missing Data Imputation [0.0]
  本稿では,FCMIと呼ばれる相関関係に基づいて,データセットの欠落を補足する効率的な手法を提案する。 提案アルゴリズムはデータセットの高相関属性を選択し,これらの属性を用いて回帰モデルを構築する。 分類データセットと回帰データセットの両方で行った実験により,提案手法が既存の計算アルゴリズムより優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-26T13:35:33Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)
• Establishing strong imputation performance of a denoising autoencoder in a wide range of missing data problems [0.0]
  トレーニングと計算の両方に一貫したフレームワークを開発します。 結果と最先端の計算手法を比較検討した。 開発されたオートエンコーダは、初期データ破損のあらゆる範囲において最小の誤差を得た。
  論文  参考訳（メタデータ） (2020-04-06T12:00:30Z)
• New advances in enumerative biclustering algorithms with online partitioning [80.22629846165306]
  さらに、数値データセットの列に定数値を持つ最大二クラスタの効率的で完全で正しい非冗長列挙を実現できる二クラスタリングアルゴリズムであるRIn-Close_CVCを拡張した。 改良されたアルゴリズムはRIn-Close_CVC3と呼ばれ、RIn-Close_CVCの魅力的な特性を保ちます。
  論文  参考訳（メタデータ） (2020-03-07T14:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。