論文の概要: DeepQC: A Deep Learning System for Automatic Quality Control of In-situ
Soil Moisture Sensor Time Series Data
- arxiv url: http://arxiv.org/abs/2311.06735v1
- Date: Sun, 12 Nov 2023 04:58:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 17:23:01.282099
- Title: DeepQC: A Deep Learning System for Automatic Quality Control of In-situ
Soil Moisture Sensor Time Series Data
- Title(参考訳): DeepQC:土壌水分センサ時系列データの自動品質管理のためのディープラーニングシステム
- Authors: Lahari Bandaru, Bharat C Irigireddy, Brian Davis
- Abstract要約: 本研究では,土壌水分データ中の異常を識別するために,二方向長短期記憶(LSTM)モデル(DeepQC)を開発した。
DeepQCは正確な観測の99.7%と異常の95.6%をかなり少ない時間で正確にフラグ付けし、フラジット法よりも優れていることを示した。
- 参考スコア(独自算出の注目度): 1.0432302605566328
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Amidst changing climate, real-time soil moisture monitoring is vital for the
development of in-season decision support tools to help farmers manage weather
related risks. Precision Sustainable Agriculture (PSA) recently established a
real-time soil moisture monitoring network across the central, Midwest, and
eastern U.S., but field-scale sensor observations often come with data gaps and
anomalies. To maintain the data quality needed for development of decision
tools, a quality control system is necessary. The International Soil Moisture
Network (ISMN) introduced the Flagit module for anomaly detection in soil
moisture observations. However, under certain conditions, Flagit's quality
control approaches may underperform in identifying anomalies. Recently deep
learning methods have been successfully applied to detect anomalies in time
series data in various disciplines. However, their use in agriculture has not
been yet investigated. This study focuses on developing a Bi-directional Long
Short-Term Memory (LSTM) model, referred to as DeepQC, to identify anomalies in
soil moisture data. Manual flagged PSA observations were used for training,
validation, and testing the model, following an 80:10:10 split. The study then
compared the DeepQC and Flagit based estimates to assess their relative
performance. Flagit corrected flagged 95.5% of the corrected observations and
50.3% of the anomaly observations, indicating its limitations in identifying
anomalies. On the other hand, the DeepQC correctly flagged 99.7% of the correct
observations and 95.6% of the anomalies in significantly less time,
demonstrating its superiority over Flagit approach. Importantly, DeepQC's
performance remained consistent regardless of the number of anomalies. Given
the promising results obtained with the DeepQC, future studies will focus on
implementing this model on national and global soil moisture networks.
- Abstract(参考訳): 気候の変化の中で、リアルタイムの土壌水分モニタリングは、農家が天候関連リスクを管理するためのシーズン内意思決定支援ツールの開発に不可欠である。
精密持続可能な農業(PSA)は、最近、中央、中西部、東部にリアルタイムの土壌水分モニタリングネットワークを構築したが、フィールドスケールのセンサー観測は、しばしばデータギャップと異常を伴う。
意思決定ツールの開発に必要なデータ品質を維持するためには,品質管理システムが必要である。
国際土壌水分ネットワーク(ISMN)は、土壌水分観測における異常検出のためのフラジットモジュールを導入した。
しかし、一定の条件下では、フラジットの品質制御アプローチは異常を識別するには不十分である。
近年,様々な分野における時系列データの異常検出に深層学習が成功している。
しかし、農業における利用については未だ調査されていない。
本研究では,土壌水分データ中の異常を識別するための双方向長短期記憶(LSTM)モデルであるDeepQCの開発に焦点をあてる。
手動フラグ付きPSA観測は、80:10:10分割後のトレーニング、検証、テストに使用された。
調査では、DeepQCとFragitベースの見積もりを比較して、相対的なパフォーマンスを評価した。
フラジットは修正された観測の95.5%と異常な観測の50.3%を修正した。
一方、DeepQCは正確な観測の99.7%と異常の95.6%をかなり少ない時間で正確にフラグ付けし、フラジット法よりも優れていることを示した。
重要なことに、DeepQCのパフォーマンスは異常の数に関わらず一貫していた。
DeepQCで得られた有望な成果を踏まえると、将来の研究は、このモデルを全国的およびグローバルな土壌水分ネットワークに実装することに集中する。
関連論文リスト
- Unraveling the "Anomaly" in Time Series Anomaly Detection: A
Self-supervised Tri-domain Solution [89.16750999704969]
異常ラベルは時系列異常検出において従来の教師付きモデルを妨げる。
自己教師型学習のような様々なSOTA深層学習技術がこの問題に対処するために導入されている。
自己教師型3領域異常検出器(TriAD)を提案する。
論文 参考訳(メタデータ) (2023-11-19T05:37:18Z) - Long-term drought prediction using deep neural networks based on
geospatial weather data [78.63225885697149]
農業計画や保険には1年前から予測される高品質の干ばつが不可欠だ。
多様な時間的ニューラルネットワークモデルを用いたエンドツーエンドアプローチを導入することで、干ばつデータに対処する。
主な発見は、TransformerモデルであるEarthFormerが、正確な短期(最大6ヶ月)の予測を行う際の例外的なパフォーマンスである。
論文 参考訳(メタデータ) (2023-09-12T13:28:06Z) - MSFlow: Multi-Scale Flow-based Framework for Unsupervised Anomaly
Detection [124.52227588930543]
教師なし異常検出(UAD)は多くの研究の関心を集め、幅広い応用を推進している。
不明瞭だが強力な統計モデルである正規化フローは、教師なしの方法で異常検出と局所化に適している。
非対称な並列フローと融合フローからなるMSFlowと呼ばれる新しいマルチスケールフローベースフレームワークを提案する。
我々のMSFlowは、検出AUORCスコアが99.7%、ローカライゼーションAUCROCスコアが98.8%、プロスコアが97.1%の新たな最先端技術を実現している。
論文 参考訳(メタデータ) (2023-08-29T13:38:35Z) - A Machine Learning Outlook: Post-processing of Global Medium-range
Forecasts [0.0]
後処理は通常、数値気象予測(NWP)モデルの出力を受け取り、線形統計手法を適用する。
本研究では, 温度850hPaで7日間の予測において, 最大12%(RMSE)の精度向上を達成できることを示す。
我々は、ルート平均二乗誤差 (RMSE) や異常相関係数 (ACC) といった標準メトリクスを使用する際の課題について議論する。
論文 参考訳(メタデータ) (2023-03-28T20:48:01Z) - Are we certain it's anomalous? [57.729669157989235]
時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。
本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。
HypADは自己指導で入力信号を再構築する。
論文 参考訳(メタデータ) (2022-11-16T21:31:39Z) - LSTM-Autoencoder based Anomaly Detection for Indoor Air Quality Time
Series Data [6.642599588462097]
室内空気質(IAQ)データの異常検出は、空気の質が人間の健康と健康と密接に関連しているため、研究の重要領域となっている。
IAQ領域における異常検出における従来の統計と機械学習に基づくアプローチは、複数のデータポイントにわたる相関の観測を含む異常を検出できなかった。
本稿では,LSTMとオートエンコーダを組み合わせたハイブリッドディープラーニングモデルを提案する。
論文 参考訳(メタデータ) (2022-04-14T01:57:46Z) - On the Generalization of Agricultural Drought Classification from
Climate Data [0.1908788674366693]
干ばつの発生は遅く、様々な外部要因に依存するため、気候データの干ばつ検出は困難である。
我々は,水文モデルから得られた土壌水分指数(SMI)を構築した。
SMIに基づく干ばつ分類において,異なるモデルと逐次帰納的バイアスを伴わないモデルを比較した。
論文 参考訳(メタデータ) (2021-11-30T14:49:46Z) - Cloud Failure Prediction with Hierarchical Temporary Memory: An
Empirical Assessment [64.73243241568555]
Hierarchical Temporary Memory (HTM) は、新皮質の特徴にインスパイアされた教師なし学習アルゴリズムである。
本稿では,障害予測の文脈でHTMを評価する最初の体系的研究について述べる。
論文 参考訳(メタデータ) (2021-10-06T07:09:45Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳(メタデータ) (2020-09-16T15:52:04Z) - Anomaly Detection using Deep Autoencoders for in-situ Wastewater Systems
Monitoring Data [0.0]
本稿では, 深部自動エンコーダを用いた廃棄物システム監視データの異常検出手法を提案する。
そして、復号ステージの復元誤差に基づいて異常検出を行う。
論文 参考訳(メタデータ) (2020-02-07T09:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。