論文の概要: Data Quality Audit and Bivariate Temperature-Humidity Analysis of a Long-Term LoRaWAN Network: Anomaly Detection, PCA, Clustering and Machine Learning
- arxiv url: http://arxiv.org/abs/2610.32438v1
- Date: Fri, 23 Oct 2026 10:04:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.4892
- Title: Data Quality Audit and Bivariate Temperature-Humidity Analysis of a Long-Term LoRaWAN Network: Anomaly Detection, PCA, Clustering and Machine Learning
- Title(参考訳): 長期LoRaWANネットワークにおけるデータ品質監査と二変量温度-Humidity解析:異常検出,PCA,クラスタリング,機械学習
- Abstract要約: 長期の環境IoT/LPWANデプロイメントは、多種多様なデバイスからの異種データストリームを集約することが多い。
本研究では、Tour Perret LoRaWANデータセットに適用されたC++17処理パイプラインを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-term environmental IoT/LPWAN deployments often aggregate heterogeneous data streams from diverse devices without systematic auditing of each variable's actual coverage prior to analysis-an increased risk when multiple sensor types coexist within the same network. This work proposes a C++17 processing pipeline applied to the Tour Perret LoRaWAN dataset (421 937 frames, June 2021--June 2023, 5 devices). A systematic coverage audit integrated into the extraction phase reveals that CO2 is completely missing (0% coverage) and pressure is reported only by an isolated base module (Wyres, 4.24% of the corpus), invalidating the initial hypothesis of a joint four-variable analysis. The analysis is refocused on the Temperature--Humidity pair, jointly available across 205{,}005 frames (95.76%) from 4 Elsys EMS sensors. The pipeline sequentially performs anomaly detection (modified Z-score, Isolation Forest), bivariate Principal Component Analysis, clustering (K-means, DBSCAN), and a multilayer perceptron predicting humidity from temperature and time, whose residuals serve as a detector for slow drift. On real-world data: Temperature--Humidity correlation r=-0.662, two-component PCA (PC1 =83.1% of variance), Isolation Forest detects 2.12% multivariate anomalies while univariate Z-score detects none, calibrated DBSCAN isolates 0.17% noise across 13 clusters, and the MLP achieves $R^2=0.672$ (RMSE =10.54%) in cross-validation. This work demonstrates that per-variable coverage auditing prior to modeling is a necessary methodological step for heterogeneous multi-sensor IoT datasets.
- Abstract(参考訳): 長期的な環境IoT/LPWANデプロイメントは、複数のセンサタイプが同一ネットワーク内に共存する際のリスクの増加に対して、分析の前に各変数の実際のカバレッジを体系的に監査することなく、さまざまなデバイスからの不均一なデータストリームを集約することが多い。
この研究は、Tour Perret LoRaWANデータセット(2021年6月から2023年6月までの421の937フレーム)に適用されるC++17処理パイプラインを提案する。
抽出段階に統合された系統的カバレッジ監査では、CO2は完全に欠落(0%のカバレッジ)しており、圧力は孤立したベースモジュール(コーパスの4.24%)によってのみ報告され、共同四変量解析の初期仮説が無効になる。
この分析は、エルシスESMセンサー4基の205{,}005フレーム(95.76%)を共同で利用できる温度-湿度対に焦点を合わせている。
パイプラインは、異常検出(修正Zスコア、分離フォレスト)、二変量主成分分析、クラスタリング(K平均、DBSCAN)、および温度と時間から湿度を予測する多層パーセプトロンを順次実行し、残余が緩やかなドリフトの検出器として機能する。
温度-湿度相関r=-0.662、二成分PCA(PC1 =83.1%の分散)、分離森林は2.12%の多変量異常を検出し、一変量Zスコアは誰も検出せず、キャリブレーションDBSCANは13個のクラスターで0.17%のノイズを分離し、MLPはクロスバリデーションで$R^2=0.672$(RMSE = 10.54%)を達成する。
この研究は、モデリングの前に変数ごとのカバレッジ監査が異質なマルチセンサーIoTデータセットに必要な方法論的なステップであることを実証している。
関連論文リスト
- Low-Rank and Structured Sparse Tensor Decomposition for Anomaly Detection in Multivariate Functional Data [0.4651750987298772]
マルチモード構造を保存する2つの非教師付きスパーステンソル分解法を提案する。
本研究では,スパースペナルティと予測される断層構造とを明示的に一致させることで,高次元機能プロセスにおける異常検出と故障局所化の両方が改善されることを示す。
論文 参考訳(メタデータ) (2026-10-03T01:19:31Z) - TimeLAVA: Learning-Agnostic Data Valuation for Time Series [48.76711740818533]
TimeLAVAは、評価データと参照データの間の分布差を最小限に抑えるために、時間セグメントを限界貢献によって評価する学習非依存のフレームワークである。
モデルに依存しない一般化にバリュエーションをリンクする理論的保証を提供し、汚染に対する有界感度を証明する。
論文 参考訳(メタデータ) (2026-06-17T06:16:16Z) - CRAFTIIF: Cross-Resolution Analytic Four-Type Interpretable Isolation Forest for Multivariate Time Series Anomaly Detection [0.0]
CRAFTIIF (Cross-Resolution Analytic Four-Type Interpretable isolation Forest) は、データセット固有のチューニングなしで4つのタイプすべてをターゲットにした、完全に教師なしのフレームワークである。
適応型Osto/MAD閾値は、異常率0.1%から69.2%の自動検出を校正する。
mTSBenchベンチマークの全19データセットで評価した。
論文 参考訳(メタデータ) (2026-06-11T15:36:14Z) - UTOPYA: A Multimodal Deep Learning Framework for Physics-Informed Anomaly Detection and Time-Series Prediction [42.532335022354545]
バッチプロセスにおける異常検出は、過渡的ダイナミクス、欠陥ラベルの不足、単一モードセンサデータへの依存によって妨げられる。
本研究は, バッチ蒸留における異常検出, 時系列予測, 位相分類を共同で扱うマルチモーダルフレームワークUTOPYAを紹介する。
本研究で導入された物理インフォームド正規化スキームは、時間的滑らかさと熱力学的モノトニクスを強制する。
論文 参考訳(メタデータ) (2026-05-18T10:28:15Z) - Multi-Source and Test-Time Domain Adaptation on Multivariate Signals using Spatio-Temporal Monge Alignment [59.75420353684495]
コンピュータビジョンやバイオメディカルデータなどの信号に対する機械学習の応用は、ハードウェアデバイスやセッション記録にまたがる変動のため、しばしば課題に直面している。
本研究では,これらの変動を緩和するために,時空間モンジュアライメント(STMA)を提案する。
我々はSTMAが、非常に異なる設定で取得したデータセット間で、顕著で一貫したパフォーマンス向上をもたらすことを示す。
論文 参考訳(メタデータ) (2024-07-19T13:33:38Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - Graph Spatiotemporal Process for Multivariate Time Series Anomaly
Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。
実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文 参考訳(メタデータ) (2024-01-11T10:10:16Z) - Imbalanced Aircraft Data Anomaly Detection [103.01418862972564]
航空シナリオ下でのセンサーからの時間データの異常検出は実用的だが難しい課題である。
本稿では,グラフィカル・テンポラル・データ分析フレームワークを提案する。
シリーズ・トゥ・イメージ (S2I) と呼ばれる3つのモジュール、ユークリッド距離 (CRD) を用いたクラスタ・ベース・リサンプリング・アプローチ、変数・ベース・ロス (VBL) から構成される。
論文 参考訳(メタデータ) (2023-05-17T09:37:07Z) - HFN: Heterogeneous Feature Network for Multivariate Time Series Anomaly
Detection [2.253268952202213]
MTSのためのヘテロジニアス特徴ネットワーク(HFN)に基づく,新しい半教師付き異常検出フレームワークを提案する。
まず、センサ埋め込みによって生成された埋め込み類似性グラフと、センサ値によって生成された特徴値類似性グラフを組み合わせて、時系列不均一グラフを構築する。
このアプローチは、ヘテロジニアスグラフ構造学習(HGSL)と表現学習の最先端技術を融合させる。
論文 参考訳(メタデータ) (2022-11-01T05:01:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。