論文の概要: Computationally and Memory-Efficient Robust Predictive Analytics Using Big Data
- arxiv url: http://arxiv.org/abs/2403.19721v1
- Date: Wed, 27 Mar 2024 22:39:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 17:43:20.183566
- Title: Computationally and Memory-Efficient Robust Predictive Analytics Using Big Data
- Title（参考訳）: ビッグデータを用いた計算的・メモリ効率の良いロバスト予測分析
- Authors: Daniel Menges, Adil Rasheed,
- Abstract要約: 本研究では、データ不確実性、ストレージ制限、ビッグデータを用いた予測データ駆動モデリングの課題をナビゲートする。
本稿では,ロバスト主成分分析(RPCA)を有効ノイズ低減と外乱除去に利用し,最適センサ配置(OSP)を効率的なデータ圧縮・記憶に活用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the current data-intensive era, big data has become a significant asset for Artificial Intelligence (AI), serving as a foundation for developing data-driven models and providing insight into various unknown fields. This study navigates through the challenges of data uncertainties, storage limitations, and predictive data-driven modeling using big data. We utilize Robust Principal Component Analysis (RPCA) for effective noise reduction and outlier elimination, and Optimal Sensor Placement (OSP) for efficient data compression and storage. The proposed OSP technique enables data compression without substantial information loss while simultaneously reducing storage needs. While RPCA offers an enhanced alternative to traditional Principal Component Analysis (PCA) for high-dimensional data management, the scope of this work extends its utilization, focusing on robust, data-driven modeling applicable to huge data sets in real-time. For that purpose, Long Short-Term Memory (LSTM) networks, a type of recurrent neural network, are applied to model and predict data based on a low-dimensional subset obtained from OSP, leading to a crucial acceleration of the training phase. LSTMs are feasible for capturing long-term dependencies in time series data, making them particularly suited for predicting the future states of physical systems on historical data. All the presented algorithms are not only theorized but also simulated and validated using real thermal imaging data mapping a ship's engine.
- Abstract（参考訳）: 現在のデータ集約時代において、ビッグデータは人工知能(AI)の重要な資産となり、データ駆動モデルの開発の基礎となり、さまざまな未知の分野に関する洞察を提供する。
本研究では、データ不確実性、ストレージ制限、ビッグデータを用いた予測データ駆動モデリングの課題をナビゲートする。
本稿では,ロバスト主成分分析(RPCA)を有効ノイズ低減と外乱除去に利用し,最適センサ配置(OSP)を効率的なデータ圧縮・記憶に活用する。
提案したOSP技術は,データ圧縮を大量の情報損失を伴わずに実現し,同時にストレージの必要性を低減させる。
RPCAは、高次元データ管理のための従来の主成分分析(PCA)に代わる拡張された代替手段を提供するが、この作業の範囲は、リアルタイムに巨大なデータセットに適用可能な堅牢なデータ駆動モデリングに焦点を当てて、その利用範囲を拡張している。
そのため、OSPから得られた低次元サブセットに基づいて、リカレントニューラルネットワークの一種であるLong Short-Term Memory(LSTM)ネットワークをモデル化し、予測し、トレーニングフェーズを決定的に加速する。
LSTMは時系列データにおける長期の依存関係をキャプチャできるため、歴史的データに基づく物理的システムの将来の状態を予測するのに特に適している。
提示された全てのアルゴリズムは、理論化されただけでなく、船のエンジンをマッピングする実際の熱画像データを用いてシミュレートされ、検証されている。
関連論文リスト
- Compressing high-resolution data through latent representation encoding for downscaling large-scale AI weather forecast model [10.634513279883913]
本稿では,高解像度データセットの圧縮に適した変分オートエンコーダフレームワークを提案する。
本フレームワークは,HRCLDASデータの3年間の保存容量を8.61TBから204GBに削減し,必須情報を保存した。
論文 参考訳（メタデータ） (2024-10-10T05:38:03Z) - Dynamic Data Pruning for Automatic Speech Recognition [58.95758272440217]
ASR(DDP-ASR)のダイナミック・データ・プルーニング(Dynamic Data Pruning for ASR)を導入し,音声関連データセットに特化して微細なプルーニングの粒度を提供する。
実験の結果,DDP-ASRは最大1.6倍のトレーニング時間を節約できることがわかった。
論文 参考訳（メタデータ） (2024-06-26T14:17:36Z) - Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。
時間間隔推定を組み込んだ拡散モデルである。
我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文 参考訳（メタデータ） (2024-06-20T02:20:23Z) - Energy-Efficient Edge Learning via Joint Data Deepening-and-Prefetching [9.468399367975984]
我々は、JD2P(Joint Data Deepening-and-Prefetching)と呼ばれる新しいオフロードアーキテクチャを提案する。
JD2Pは2つの主要な技術からなる機能ごとのオフロードである。
MNISTデータセットを用いてJD2Pの有効性を評価する。
論文 参考訳（メタデータ） (2024-02-19T08:12:47Z) - Improving age prediction: Utilizing LSTM-based dynamic forecasting for
data augmentation in multivariate time series analysis [16.91773394335563]
本稿では,Long Short-Term Memory (LSTM) ネットワークを用いた動的予測を利用したデータ拡張検証フレームワークを提案する。
これらの拡張データセットの有効性を、時系列年齢予測タスク用に設計された様々なディープラーニングモデルを用いて、元のデータと比較した。
論文 参考訳（メタデータ） (2023-12-11T22:47:26Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - LargeST: A Benchmark Dataset for Large-Scale Traffic Forecasting [65.71129509623587]
道路交通予測はスマートシティのイニシアチブにおいて重要な役割を担い、ディープラーニングの力によって大きな進歩を遂げている。
しかし、現在の公開データセットで達成される有望な結果は、現実的なシナリオには適用できないかもしれない。
カリフォルニアで合計8,600のセンサーと5年間の時間カバレッジを含む、LargeSTベンチマークデータセットを紹介します。
論文 参考訳（メタデータ） (2023-06-14T05:48:36Z) - Towards an Interpretable Data-driven Trigger System for High-throughput
Physics Facilities [7.939382824995354]
高スループットデータフィルタリングとトリガシステムを設計するための新しいデータ駆動アプローチを紹介します。
私たちの目標は、どのデータイベントを維持するかを決定するために、最小限のランタイムコストでデータ駆動フィルタリングシステムを設計することです。
現在のパラダイムにおける非局所的非効率性を考慮するために、解釈可能な予測モデリングとコストに敏感な学習から重要な洞察を紹介します。
論文 参考訳（メタデータ） (2021-04-14T05:01:32Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - Deep convolutional generative adversarial networks for traffic data
imputation encoding time series as images [7.053891669775769]
我々は,GAN(Generative Adversarial Network)に基づく交通センサデータ計算フレームワーク(TGAN)を開発した。
本研究では,GASF(Gramian Angular Summation Field)と呼ばれる新しい時間依存符号化手法を開発した。
本研究は,提案モデルにより,平均絶対誤差 (MAE) とルート平均正方形誤差 (RMSE) をベンチマークデータセットの最先端モデルと比較することにより,トラフィックデータ計算精度を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2020-05-05T19:14:02Z) - DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a
Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。
利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。
関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文 参考訳（メタデータ） (2019-12-27T02:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。