論文の概要: DeepQC: A Deep Learning System for Automatic Quality Control of In-situ Soil Moisture Sensor Time Series Data

• arxiv url: http://arxiv.org/abs/2311.06735v1
• Date: Sun, 12 Nov 2023 04:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 17:23:01.282099
• Title: DeepQC: A Deep Learning System for Automatic Quality Control of In-situ Soil Moisture Sensor Time Series Data
• Title（参考訳）: DeepQC:土壌水分センサ時系列データの自動品質管理のためのディープラーニングシステム
• Authors: Lahari Bandaru, Bharat C Irigireddy, Brian Davis
• Abstract要約: 本研究では,土壌水分データ中の異常を識別するために,二方向長短期記憶(LSTM)モデル(DeepQC)を開発した。 DeepQCは正確な観測の99.7%と異常の95.6%をかなり少ない時間で正確にフラグ付けし、フラジット法よりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 1.0432302605566328
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Amidst changing climate, real-time soil moisture monitoring is vital for the development of in-season decision support tools to help farmers manage weather related risks. Precision Sustainable Agriculture (PSA) recently established a real-time soil moisture monitoring network across the central, Midwest, and eastern U.S., but field-scale sensor observations often come with data gaps and anomalies. To maintain the data quality needed for development of decision tools, a quality control system is necessary. The International Soil Moisture Network (ISMN) introduced the Flagit module for anomaly detection in soil moisture observations. However, under certain conditions, Flagit's quality control approaches may underperform in identifying anomalies. Recently deep learning methods have been successfully applied to detect anomalies in time series data in various disciplines. However, their use in agriculture has not been yet investigated. This study focuses on developing a Bi-directional Long Short-Term Memory (LSTM) model, referred to as DeepQC, to identify anomalies in soil moisture data. Manual flagged PSA observations were used for training, validation, and testing the model, following an 80:10:10 split. The study then compared the DeepQC and Flagit based estimates to assess their relative performance. Flagit corrected flagged 95.5% of the corrected observations and 50.3% of the anomaly observations, indicating its limitations in identifying anomalies. On the other hand, the DeepQC correctly flagged 99.7% of the correct observations and 95.6% of the anomalies in significantly less time, demonstrating its superiority over Flagit approach. Importantly, DeepQC's performance remained consistent regardless of the number of anomalies. Given the promising results obtained with the DeepQC, future studies will focus on implementing this model on national and global soil moisture networks.
• Abstract（参考訳）: 気候の変化の中で、リアルタイムの土壌水分モニタリングは、農家が天候関連リスクを管理するためのシーズン内意思決定支援ツールの開発に不可欠である。 精密持続可能な農業(PSA)は、最近、中央、中西部、東部にリアルタイムの土壌水分モニタリングネットワークを構築したが、フィールドスケールのセンサー観測は、しばしばデータギャップと異常を伴う。 意思決定ツールの開発に必要なデータ品質を維持するためには,品質管理システムが必要である。 国際土壌水分ネットワーク(ISMN)は、土壌水分観測における異常検出のためのフラジットモジュールを導入した。 しかし、一定の条件下では、フラジットの品質制御アプローチは異常を識別するには不十分である。 近年,様々な分野における時系列データの異常検出に深層学習が成功している。 しかし、農業における利用については未だ調査されていない。 本研究では,土壌水分データ中の異常を識別するための双方向長短期記憶(LSTM)モデルであるDeepQCの開発に焦点をあてる。 手動フラグ付きPSA観測は、80:10:10分割後のトレーニング、検証、テストに使用された。 調査では、DeepQCとFragitベースの見積もりを比較して、相対的なパフォーマンスを評価した。 フラジットは修正された観測の95.5%と異常な観測の50.3%を修正した。 一方、DeepQCは正確な観測の99.7%と異常の95.6%をかなり少ない時間で正確にフラグ付けし、フラジット法よりも優れていることを示した。 重要なことに、DeepQCのパフォーマンスは異常の数に関わらず一貫していた。 DeepQCで得られた有望な成果を踏まえると、将来の研究は、このモデルを全国的およびグローバルな土壌水分ネットワークに実装することに集中する。

関連論文リスト

• Generating Fine-Grained Causality in Climate Time Series Data for Forecasting and Anomaly Detection [67.40407388422514]
  我々は、TBN Granger Causalityという概念的微粒因果モデルを設計する。 次に, TBN Granger Causality を生成的に発見する TacSas という, エンドツーエンドの深部生成モデルを提案する。 気候予報のための気候指標ERA5と、極度気象警報のためのNOAAの極端気象基準でTacSasを試験する。
  論文  参考訳（メタデータ） (2024-08-08T06:47:21Z)
• TeVAE: A Variational Autoencoder Approach for Discrete Online Anomaly Detection in Variable-state Multivariate Time-series Data [0.017476232824732776]
  本研究では,時間変動型オートエンコーダ(TeVAE)を提案する。 適切に設定された場合、TeVAEは異常を6%だけ間違ったタイミングでフラグし、65%の異常を検知する。
  論文  参考訳（メタデータ） (2024-07-09T13:32:33Z)
• Using Long Short-term Memory (LSTM) to merge precipitation data over mountainous area in Sierra Nevada [12.729339328566542]
  降水量計、降水レーダ、衛星ベースの降水センサーといった3つの広く使われている降水量測定手法は、複雑な領域で信頼できる降水生成物を生成するために独自の利点と欠点を持っている。 検出エラーの確率を低減し、データの信頼性を向上させる方法の1つは、降水データマージである。 本研究では,Long Short-term Memory (LSTM) という深層学習技術を用いて,レーダーと衛星を用いたグローバル降水量測定(GPM)を時間スケールで統合した。
  論文  参考訳（メタデータ） (2024-04-15T21:01:31Z)
• Unraveling the "Anomaly" in Time Series Anomaly Detection: A Self-supervised Tri-domain Solution [89.16750999704969]
  異常ラベルは時系列異常検出において従来の教師付きモデルを妨げる。 自己教師型学習のような様々なSOTA深層学習技術がこの問題に対処するために導入されている。 自己教師型3領域異常検出器(TriAD)を提案する。
  論文  参考訳（メタデータ） (2023-11-19T05:37:18Z)
• Long-term drought prediction using deep neural networks based on geospatial weather data [75.38539438000072]
  農業計画や保険には1年前から予測される高品質の干ばつが不可欠だ。 私たちは、体系的なエンドツーエンドアプローチを採用するエンドツーエンドアプローチを導入することで、干ばつデータに取り組みます。 主な発見は、TransformerモデルであるEarthFormerが、正確な短期(最大6ヶ月)の予測を行う際の例外的なパフォーマンスである。
  論文  参考訳（メタデータ） (2023-09-12T13:28:06Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• LSTM-Autoencoder based Anomaly Detection for Indoor Air Quality Time Series Data [6.642599588462097]
  室内空気質(IAQ)データの異常検出は、空気の質が人間の健康と健康と密接に関連しているため、研究の重要領域となっている。 IAQ領域における異常検出における従来の統計と機械学習に基づくアプローチは、複数のデータポイントにわたる相関の観測を含む異常を検出できなかった。 本稿では,LSTMとオートエンコーダを組み合わせたハイブリッドディープラーニングモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-14T01:57:46Z)
• On the Generalization of Agricultural Drought Classification from Climate Data [0.1908788674366693]
  干ばつの発生は遅く、様々な外部要因に依存するため、気候データの干ばつ検出は困難である。 我々は,水文モデルから得られた土壌水分指数(SMI)を構築した。 SMIに基づく干ばつ分類において,異なるモデルと逐次帰納的バイアスを伴わないモデルを比較した。
  論文  参考訳（メタデータ） (2021-11-30T14:49:46Z)
• Cloud Failure Prediction with Hierarchical Temporary Memory: An Empirical Assessment [64.73243241568555]
  Hierarchical Temporary Memory (HTM) は、新皮質の特徴にインスパイアされた教師なし学習アルゴリズムである。 本稿では,障害予測の文脈でHTMを評価する最初の体系的研究について述べる。
  論文  参考訳（メタデータ） (2021-10-06T07:09:45Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)
• Anomaly Detection using Deep Autoencoders for in-situ Wastewater Systems Monitoring Data [0.0]
  本稿では, 深部自動エンコーダを用いた廃棄物システム監視データの異常検出手法を提案する。 そして、復号ステージの復元誤差に基づいて異常検出を行う。
  論文  参考訳（メタデータ） (2020-02-07T09:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。