論文の概要: An Automated Data Mining Framework Using Autoencoders for Feature Extraction and Dimensionality Reduction

• arxiv url: http://arxiv.org/abs/2412.02211v1
• Date: Tue, 03 Dec 2024 07:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:21.431764
• Title: An Automated Data Mining Framework Using Autoencoders for Feature Extraction and Dimensionality Reduction
• Title（参考訳）: 自動エンコーダを用いた特徴抽出と次元化のための自動データマイニングフレームワーク
• Authors: Yaxin Liang, Xinshi Li, Xin Huang, Ziqi Zhang, Yue Yao,
• Abstract要約: 本研究では,自動エンコーダに基づく自動データマイニングフレームワークを提案する。 符号化復号構造により、オートエンコーダはデータの電位特性を捕捉し、ノイズの低減と異常検出を実現する。 将来的には,ディープラーニングとビッグデータ技術の進歩に伴い,複雑なデータ処理やリアルタイムデータ解析,知的意思決定といった分野において,GAN(Generative Adversarial Network)やグラフニューラルネットワーク(Graph Neural Network,GNN)と組み合わせたオートエンコーダ方式が広く使われることが期待される。
• 参考スコア（独自算出の注目度）: 10.358417199718462
• License:
• Abstract: This study proposes an automated data mining framework based on autoencoders and experimentally verifies its effectiveness in feature extraction and data dimensionality reduction. Through the encoding-decoding structure, the autoencoder can capture the data's potential characteristics and achieve noise reduction and anomaly detection, providing an efficient and stable solution for the data mining process. The experiment compared the performance of the autoencoder with traditional dimensionality reduction methods (such as PCA, FA, T-SNE, and UMAP). The results showed that the autoencoder performed best in terms of reconstruction error and root mean square error and could better retain data structure and enhance the generalization ability of the model. The autoencoder-based framework not only reduces manual intervention but also significantly improves the automation of data processing. In the future, with the advancement of deep learning and big data technology, the autoencoder method combined with a generative adversarial network (GAN) or graph neural network (GNN) is expected to be more widely used in the fields of complex data processing, real-time data analysis and intelligent decision-making.
• Abstract（参考訳）: 本研究では,自動エンコーダに基づく自動データマイニングフレームワークを提案する。 この符号化復号構造により、オートエンコーダは、データの潜在的な特性を捕捉し、ノイズの低減と異常検出を実現し、データマイニングプロセスの効率的で安定したソリューションを提供する。 実験では, オートエンコーダの性能を従来の次元減少法(PCA, FA, T-SNE, UMAP)と比較した。 その結果, オートエンコーダは復元誤差とルート平均二乗誤差で最適に動作し, データ構造をより良く維持し, モデルの一般化能力を高めることができた。 オートエンコーダベースのフレームワークは手作業の介入を減らすだけでなく、データ処理の自動化を大幅に改善する。 将来的には,ディープラーニングとビッグデータ技術の進歩に伴い,複雑なデータ処理やリアルタイムデータ解析,知的意思決定といった分野において,GAN(Generative Adversarial Network)やグラフニューラルネットワーク(Graph Neural Network,GNN)と組み合わせたオートエンコーダ方式が広く使われることが期待される。

関連論文リスト

• Leveraging Semi-Supervised Learning to Enhance Data Mining for Image Classification under Limited Labeled Data [35.431340001608476]
  従来のデータマイニング手法は、大規模で高次元で複雑なデータに直面すると不十分である。 本研究では,ラベルのないデータを利用するアルゴリズムの能力向上を目的とした,半教師付き学習手法を提案する。 具体的には、自己学習法を採用し、画像の特徴抽出と分類のための畳み込みニューラルネットワーク(CNN)と組み合わせる。
  論文  参考訳（メタデータ） (2024-11-27T18:59:50Z)
• Remote sensing framework for geological mapping via stacked autoencoders and clustering [0.15833270109954137]
  リモートセンシングデータを処理するための教師なし機械学習ベースのフレームワークを提案する。 オーストラリアのムタウィンチ地域の地質マッピングの枠組みを評価するために,ランドサット8,ASTER,Sentinel-2のデータセットを用いた。 本研究により, 岩盤単位を効率的に識別し, 高精度かつ解釈可能な地質図を作成できることが判明した。
  論文  参考訳（メタデータ） (2024-04-02T09:15:32Z)
• Defect Classification in Additive Manufacturing Using CNN-Based Vision Processing [76.72662577101988]
  本稿では、まず、畳み込みニューラルネットワーク(CNN)を用いて、画像データセットの欠陥をAMから第2に正確に分類し、発達した分類モデルにアクティブラーニング技術を適用する。 これにより、トレーニングデータやトレーニングデータの生成に必要なデータのサイズを削減できる、ヒューマン・イン・ザ・ループ機構の構築が可能になる。
  論文  参考訳（メタデータ） (2023-07-14T14:36:58Z)
• AutoCure: Automated Tabular Data Curation Technique for ML Pipelines [0.0]
  本稿では,新鮮で構成のないデータキュレーションパイプラインであるAutoCureを紹介する。 従来のデータキュレーション方法とは異なり、AutoCureはクリーンなデータ率の密度を合成的に強化する。 実際にAutoCureは、オープンソースのツールと統合して、機械学習の民主化を促進することができる。
  論文  参考訳（メタデータ） (2023-04-26T15:51:47Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
  マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。 本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
  論文  参考訳（メタデータ） (2022-09-05T16:48:34Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Including Sparse Production Knowledge into Variational Autoencoders to Increase Anomaly Detection Reliability [3.867363075280544]
  可変オートエンコーダニューラルネットワーク構造におけるラベル異常に関するまれな情報を用いて検討する。 この方法は、精度、正確さ、リコールの点で他の全てのモデルを上回る。
  論文  参考訳（メタデータ） (2021-03-24T05:54:12Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Dual Adversarial Auto-Encoders for Clustering [152.84443014554745]
  教師なしクラスタリングのためのDual-AAE(Dual-AAE)を提案する。 Dual-AAEの目的関数に対する変分推論を行うことで,一対のオートエンコーダをトレーニングすることで最適化可能な新たな再構成損失を導出する。 4つのベンチマーク実験により、Dual-AAEは最先端のクラスタリング手法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-08-23T13:16:34Z)
• Anomaly Detection with SDAE [2.9447568514391067]
  A Simple, Deep, and Supervised Deep Autoencoder were trained and comparison for anomaly detection over the ASHRAE building energy data。 ディープ・オートエンコーダが最も優れているが、スーパービジョンド・ディープ・オートエンコーダは検出された全異常において他のモデルよりも優れている。
  論文  参考訳（メタデータ） (2020-04-09T07:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。