論文の概要: Not Another Imputation Method: A Transformer-based Model for Missing Values in Tabular Datasets

• arxiv url: http://arxiv.org/abs/2407.11540v1
• Date: Tue, 16 Jul 2024 09:43:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 15:42:36.550166
• Title: Not Another Imputation Method: A Transformer-based Model for Missing Values in Tabular Datasets
• Title（参考訳）: もう1つの命令法: タブラリデータセットにおける値の欠落に対するトランスフォーマーベースモデル
• Authors: Camillo Maria Caruso, Paolo Soda, Valerio Guarrasi,
• Abstract要約: NAIM(Not Another Imputation Method)は、従来の計算手法を使わずに欠落した値を扱うために設計されたトランスフォーマーベースのモデルである。 NAIMは機能固有の埋め込みと、利用可能なデータから効果的に学習するマスク付き自己認識機構を採用している。 5つの公開データセット上でNAIMを広範囲に評価した。
• 参考スコア（独自算出の注目度）: 1.02138250640885
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Handling missing values in tabular datasets presents a significant challenge in training and testing artificial intelligence models, an issue usually addressed using imputation techniques. Here we introduce "Not Another Imputation Method" (NAIM), a novel transformer-based model specifically designed to address this issue without the need for traditional imputation techniques. NAIM employs feature-specific embeddings and a masked self-attention mechanism that effectively learns from available data, thus avoiding the necessity to impute missing values. Additionally, a novel regularization technique is introduced to enhance the model's generalization capability from incomplete data. We extensively evaluated NAIM on 5 publicly available tabular datasets, demonstrating its superior performance over 6 state-of-the-art machine learning models and 4 deep learning models, each paired with 3 different imputation techniques when necessary. The results highlight the efficacy of NAIM in improving predictive performance and resilience in the presence of missing data. To facilitate further research and practical application in handling missing data without traditional imputation methods, we made the code for NAIM available at https://github.com/cosbidev/NAIM.
• Abstract（参考訳）: 表形式のデータセットで欠落した値を扱うことは、人工知能モデルのトレーニングとテストにおいて重大な課題となる。 本稿では,従来の計算手法を必要とせずにこの問題に対処するために設計された,新しいトランスフォーマーベースモデルである"Not Another Imputation Method"(NAIM)を紹介する。 NAIMは機能固有の埋め込みと、利用可能なデータから効果的に学習するマスク付き自己認識機構を採用しており、欠落した値をインプットする必要がない。 さらに、不完全なデータからモデルの一般化能力を高めるために、新しい正規化手法が導入された。 NAIMを利用可能な5つの表付きデータセット上で広範囲に評価し、6つの最先端機械学習モデルと4つのディープラーニングモデルよりも優れた性能を示し、必要に応じて3つの異なる計算手法を組み合わせた。 その結果、NAIMが欠落したデータの存在下での予測性能とレジリエンスを向上させる効果が浮き彫りになった。 そこで我々はNAIMのコードをhttps://github.com/cosbidev/NAIMで公開した。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• In-Database Data Imputation [0.6157028677798809]
  データの欠落は多くの領域で広く問題となり、データ分析と意思決定の課題を生み出します。 不完全なレコードを除外したり、単純な見積もりを示唆するといった、欠落したデータを扱う従来の手法は、計算的に効率的であるが、バイアスを導入し、変数の関係を乱す可能性がある。 モデルベースの計算手法は、データの変動性と関係を保存し、より堅牢なソリューションを提供するが、彼らは計算時間をはるかに多く要求する。 この作業は、広く使われているMICE方式を用いて、データベースシステム内の効率的で高品質でスケーラブルなデータ計算を可能にする。
  論文  参考訳（メタデータ） (2024-01-07T01:57:41Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Machine Learning Based Missing Values Imputation in Categorical Datasets [2.5611256859404983]
  この研究では、分類データセットのギャップを埋めるための機械学習アルゴリズムの使用について検討した。 Error Correction Output Codesフレームワークを使用して構築されたアンサンブルモデルに重点が置かれた。 大量のラベル付きデータの要求を含む、これらの奨励的な結果にもかかわらず、データ計算の欠如に対する深い学習には障害がある。
  論文  参考訳（メタデータ） (2023-06-10T03:29:48Z)
• PROMISSING: Pruning Missing Values in Neural Networks [0.0]
  本稿では,ニューラルネットワークの学習と推論の段階において,欠落値(PROMISSing)を抽出する,シンプルで直感的かつ効果的な手法を提案する。 実験の結果, ProMISSing は様々な計算手法と比較して予測性能が良くなることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T15:37:27Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Multiple Imputation with Denoising Autoencoder using Metamorphic Truth and Imputation Feedback [0.0]
  データの内部表現を学習するために,Denoising Autoencoder を用いた多重命令モデルを提案する。 我々は、属性の統計的整合性を維持するために、変成真理と帰納フィードバックの新たなメカニズムを用いる。 提案手法は,多くの標準的なテストケースにおいて,様々な欠落メカニズムや欠落したデータのパターンに対するインパルスの効果を検証し,他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-19T18:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。