論文の概要: An Automated Data Mining Framework Using Autoencoders for Feature Extraction and Dimensionality Reduction

• arxiv url: http://arxiv.org/abs/2412.02211v1
• Date: Tue, 03 Dec 2024 07:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:21.431764
• Title: An Automated Data Mining Framework Using Autoencoders for Feature Extraction and Dimensionality Reduction
• Title（参考訳）: 自動エンコーダを用いた特徴抽出と次元化のための自動データマイニングフレームワーク
• Authors: Yaxin Liang, Xinshi Li, Xin Huang, Ziqi Zhang, Yue Yao,
• Abstract要約: 本研究では,自動エンコーダに基づく自動データマイニングフレームワークを提案する。 符号化復号構造により、オートエンコーダはデータの電位特性を捕捉し、ノイズの低減と異常検出を実現する。 将来的には,ディープラーニングとビッグデータ技術の進歩に伴い,複雑なデータ処理やリアルタイムデータ解析,知的意思決定といった分野において,GAN(Generative Adversarial Network)やグラフニューラルネットワーク(Graph Neural Network,GNN)と組み合わせたオートエンコーダ方式が広く使われることが期待される。
• 参考スコア（独自算出の注目度）: 10.358417199718462
• License:
• Abstract: This study proposes an automated data mining framework based on autoencoders and experimentally verifies its effectiveness in feature extraction and data dimensionality reduction. Through the encoding-decoding structure, the autoencoder can capture the data's potential characteristics and achieve noise reduction and anomaly detection, providing an efficient and stable solution for the data mining process. The experiment compared the performance of the autoencoder with traditional dimensionality reduction methods (such as PCA, FA, T-SNE, and UMAP). The results showed that the autoencoder performed best in terms of reconstruction error and root mean square error and could better retain data structure and enhance the generalization ability of the model. The autoencoder-based framework not only reduces manual intervention but also significantly improves the automation of data processing. In the future, with the advancement of deep learning and big data technology, the autoencoder method combined with a generative adversarial network (GAN) or graph neural network (GNN) is expected to be more widely used in the fields of complex data processing, real-time data analysis and intelligent decision-making.
• Abstract（参考訳）: 本研究では,自動エンコーダに基づく自動データマイニングフレームワークを提案する。 この符号化復号構造により、オートエンコーダは、データの潜在的な特性を捕捉し、ノイズの低減と異常検出を実現し、データマイニングプロセスの効率的で安定したソリューションを提供する。 実験では, オートエンコーダの性能を従来の次元減少法(PCA, FA, T-SNE, UMAP)と比較した。 その結果, オートエンコーダは復元誤差とルート平均二乗誤差で最適に動作し, データ構造をより良く維持し, モデルの一般化能力を高めることができた。 オートエンコーダベースのフレームワークは手作業の介入を減らすだけでなく、データ処理の自動化を大幅に改善する。 将来的には,ディープラーニングとビッグデータ技術の進歩に伴い,複雑なデータ処理やリアルタイムデータ解析,知的意思決定といった分野において,GAN(Generative Adversarial Network)やグラフニューラルネットワーク(Graph Neural Network,GNN)と組み合わせたオートエンコーダ方式が広く使われることが期待される。

関連論文リスト

• Remote sensing framework for geological mapping via stacked autoencoders and clustering [0.15833270109954137]
  リモートセンシングデータを処理するための教師なし機械学習ベースのフレームワークを提案する。 オーストラリアのムタウィンチ地域の地質マッピングの枠組みを評価するために,ランドサット8,ASTER,Sentinel-2のデータセットを用いた。 本研究により, 岩盤単位を効率的に識別し, 高精度かつ解釈可能な地質図を作成できることが判明した。
  論文  参考訳（メタデータ） (2024-04-02T09:15:32Z)
• Defect Classification in Additive Manufacturing Using CNN-Based Vision Processing [76.72662577101988]
  本稿では、まず、畳み込みニューラルネットワーク(CNN)を用いて、画像データセットの欠陥をAMから第2に正確に分類し、発達した分類モデルにアクティブラーニング技術を適用する。 これにより、トレーニングデータやトレーニングデータの生成に必要なデータのサイズを削減できる、ヒューマン・イン・ザ・ループ機構の構築が可能になる。
  論文  参考訳（メタデータ） (2023-07-14T14:36:58Z)
• AutoCure: Automated Tabular Data Curation Technique for ML Pipelines [0.0]
  本稿では,新鮮で構成のないデータキュレーションパイプラインであるAutoCureを紹介する。 従来のデータキュレーション方法とは異なり、AutoCureはクリーンなデータ率の密度を合成的に強化する。 実際にAutoCureは、オープンソースのツールと統合して、機械学習の民主化を促進することができる。
  論文  参考訳（メタデータ） (2023-04-26T15:51:47Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
  マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。 本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
  論文  参考訳（メタデータ） (2022-09-05T16:48:34Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Including Sparse Production Knowledge into Variational Autoencoders to Increase Anomaly Detection Reliability [3.867363075280544]
  可変オートエンコーダニューラルネットワーク構造におけるラベル異常に関するまれな情報を用いて検討する。 この方法は、精度、正確さ、リコールの点で他の全てのモデルを上回る。
  論文  参考訳（メタデータ） (2021-03-24T05:54:12Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Dual Adversarial Auto-Encoders for Clustering [152.84443014554745]
  教師なしクラスタリングのためのDual-AAE(Dual-AAE)を提案する。 Dual-AAEの目的関数に対する変分推論を行うことで,一対のオートエンコーダをトレーニングすることで最適化可能な新たな再構成損失を導出する。 4つのベンチマーク実験により、Dual-AAEは最先端のクラスタリング手法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-08-23T13:16:34Z)
• A Survey on Impact of Transient Faults on BNN Inference Accelerators [0.9667631210393929]
  ビッグデータブームにより、非常に大きなデータセットへのアクセスと分析が容易になります。 ディープラーニングモデルは、計算能力と極めて高いメモリアクセスを必要とする。 本研究では,ソフトエラーが独自の深層学習アルゴリズムに与える影響が画像の劇的な誤分類を引き起こす可能性を実証した。
  論文  参考訳（メタデータ） (2020-04-10T16:15:55Z)
• Anomaly Detection with SDAE [2.9447568514391067]
  A Simple, Deep, and Supervised Deep Autoencoder were trained and comparison for anomaly detection over the ASHRAE building energy data。 ディープ・オートエンコーダが最も優れているが、スーパービジョンド・ディープ・オートエンコーダは検出された全異常において他のモデルよりも優れている。
  論文  参考訳（メタデータ） (2020-04-09T07:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。