論文の概要: Streaming data preprocessing via online tensor recovery for large
environmental sensor networks
- arxiv url: http://arxiv.org/abs/2109.00596v1
- Date: Wed, 1 Sep 2021 20:01:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-03 13:50:05.977136
- Title: Streaming data preprocessing via online tensor recovery for large
environmental sensor networks
- Title（参考訳）: 大規模環境センサネットワークのためのオンラインテンソルリカバリによるデータ前処理
- Authors: Yue Hu, Ao Qu, Yanbing Wang, and Dan Work
- Abstract要約: 本研究では,高次元都市環境データセットを前処理するオンライン・ロバスト・テンソル・リカバリ手法を提案する。
データの基盤となるパターンをキャプチャする小さな辞書が計算され、新しいデータで常に更新される。
我々は,OLRTRを合成劣化した国立海洋大気庁の温度データセット上に0.05の回復誤差で検証し,それをシカゴのアレー・オブ・モノス(Array of Things)都市規模のセンサネットワークに適用した。
- 参考スコア（独自算出の注目度）: 3.3984241501818913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Measuring the built and natural environment at a fine-grained scale is now
possible with low-cost urban environmental sensor networks. However,
fine-grained city-scale data analysis is complicated by tedious data cleaning
including removing outliers and imputing missing data. While many methods exist
to automatically correct anomalies and impute missing entries, challenges still
exist on data with large spatial-temporal scales and shifting patterns. To
address these challenges, we propose an online robust tensor recovery (OLRTR)
method to preprocess streaming high-dimensional urban environmental datasets. A
small-sized dictionary that captures the underlying patterns of the data is
computed and constantly updated with new data. OLRTR enables online recovery
for large-scale sensor networks that provide continuous data streams, with a
lower computational memory usage compared to offline batch counterparts. In
addition, we formulate the objective function so that OLRTR can detect
structured outliers, such as faulty readings over a long period of time. We
validate OLRTR on a synthetically degraded National Oceanic and Atmospheric
Administration temperature dataset, with a recovery error of 0.05, and apply it
to the Array of Things city-scale sensor network in Chicago, IL, showing
superior results compared with several established online and batch-based low
rank decomposition methods.
- Abstract（参考訳）: 低コストの都市環境センサネットワークでは, 建設・自然環境をきめ細かなスケールで測定することが可能となった。
しかし, 街並みの詳細なデータ分析は, 異常なデータクリーニングによって複雑である。
異常を自動的に修正し、欠落を示唆する多くの方法が存在するが、大きな時空間スケールとシフトパターンを持つデータにはまだ課題がある。
そこで本研究では,高次元都市環境データセットを事前処理するオンラインロバスト・テンソル・リカバリ(olrtr)手法を提案する。
データの下位パターンをキャプチャする小さな辞書が計算され、新しいデータで常に更新される。
OLRTRは、オフラインバッチに比べて計算メモリ使用量が少なく、連続的なデータストリームを提供する大規模センサネットワークのオンラインリカバリを可能にする。
さらに, 目的関数を定式化することにより, olrtr が長い時間にわたって誤り読みなどの構造的外れ値を検出することができる。
我々は,OLRTRを合成劣化した国立海洋大気庁の温度データセットに0.05の回復誤差で検証し,それをイリノイ州シカゴのArray of Thingsの都市規模のセンサネットワークに適用し,オンラインおよびバッチベースの低ランク分解法と比較して優れた結果を示した。
関連論文リスト
- DeepHYDRA: Resource-Efficient Time-Series Anomaly Detection in Dynamically-Configured Systems [3.44012349879073]
我々はDeepHYDRA(Deep Hybrid DBSCAN/reduction-based Anomaly Detection)を提案する。
DBSCANと学習ベースの異常検出を組み合わせる。
大規模なデータセットと複雑なデータセットの両方において、異なるタイプの異常を確実に検出できることが示されている。
論文 参考訳（メタデータ） (2024-05-13T13:47:15Z) - LargeST: A Benchmark Dataset for Large-Scale Traffic Forecasting [65.71129509623587]
道路交通予測はスマートシティのイニシアチブにおいて重要な役割を担い、ディープラーニングの力によって大きな進歩を遂げている。
しかし、現在の公開データセットで達成される有望な結果は、現実的なシナリオには適用できないかもしれない。
カリフォルニアで合計8,600のセンサーと5年間の時間カバレッジを含む、LargeSTベンチマークデータセットを紹介します。
論文 参考訳（メタデータ） (2023-06-14T05:48:36Z) - Recovery of Missing Sensor Data by Reconstructing Time-varying Graph
Signals [0.0]
本稿では,無線センサネットワークにおけるソボレフ再構成アルゴリズムについて述べる。
このアルゴリズムは, 大規模なデータ損失状況においても, 欠落したデータを常に検索することを示す。
論文 参考訳（メタデータ） (2022-03-01T13:16:37Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳（メタデータ） (2021-11-03T03:50:48Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - Deep convolutional generative adversarial networks for traffic data
imputation encoding time series as images [7.053891669775769]
我々は,GAN(Generative Adversarial Network)に基づく交通センサデータ計算フレームワーク(TGAN)を開発した。
本研究では,GASF(Gramian Angular Summation Field)と呼ばれる新しい時間依存符号化手法を開発した。
本研究は,提案モデルにより,平均絶対誤差 (MAE) とルート平均正方形誤差 (RMSE) をベンチマークデータセットの最先端モデルと比較することにより,トラフィックデータ計算精度を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2020-05-05T19:14:02Z) - JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method [92.15895515035795]
我々は、"4,372"イメージと"1.51万"アノテーションを含む、新しい大規模非制約クラウドカウントデータセット(JHU-CROWD++)を導入する。
本稿では, 残差誤差推定により, 群集密度マップを段階的に生成する新しい群集カウントネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-07T14:59:35Z) - Fault Handling in Large Water Networks with Online Dictionary Learning [1.933681537640272]
ここでは、センサ配置を行う際にネットワークトポロジを考慮に入れたデータ駆動の代替手段を提供することで、モデルを単純化する。
オンライン学習は高速で、一度に小さな信号のバッチを処理するため、大きなネットワークに取り組むことができる。
このアルゴリズムは、小規模ネットワークと大規模ネットワークの両方でテストした場合、優れた性能を示す。
論文 参考訳（メタデータ） (2020-03-18T21:46:14Z) - Neural Network Approximation of Graph Fourier Transforms for Sparse
Sampling of Networked Flow Dynamics [13.538871180763156]
水分配ネットワーク(WDN)は、複雑なカスケード力学を持つ大規模ネットワーククリティカルシステムであり、予測が難しい。
既存のアプローチでは、最小限の監視ポイントを見つけるために、多目的最適化を使用しているが、性能保証や理論的な枠組みが欠如している。
そこで我々はまず,ネットワーク汚染拡散ダイナミクスを圧縮し,本質的なデータ収集点を推論性能保証とともに同定するグラフフーリエ変換(GFT)演算子を開発した。
次に、自動エンコーダ(AE)にインスパイアされたニューラルネットワーク(NN)を構築し、GFTサンプリングプロセスを一般化し、初期からさらにアンダーサンプリングする。
論文 参考訳（メタデータ） (2020-02-11T20:18:37Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。