論文の概要: Imputation of missing sub-hourly precipitation data in a large sensor
network: a machine learning approach
- arxiv url: http://arxiv.org/abs/2004.11123v2
- Date: Sat, 2 May 2020 09:11:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 07:17:02.453676
- Title: Imputation of missing sub-hourly precipitation data in a large sensor
network: a machine learning approach
- Title（参考訳）: 大規模センサネットワークにおける時間外降水データの欠落の予測--機械学習によるアプローチ
- Authors: Benedict Delahaye Chivers, John Wallbank, Steven J. Cole, Ondrej
Sebek, Simon Stanley, Matthew Fry and Georgios Leontidis
- Abstract要約: 本研究では,30分間隔で採取した降水データを計算するために,現在の機械学習技術を利用した2段階解析手法を提案する。
英国の37の気象観測所を調査し、この機械学習プロセスは降水データをより正確に予測する。
弱相関データセットから複雑な非線形関係をキャプチャすることは、時間以下の解像度でデータリカバリに不可欠である。
- 参考スコア（独自算出の注目度）: 4.648824029505978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Precipitation data collected at sub-hourly resolution represents specific
challenges for missing data recovery by being largely stochastic in nature and
highly unbalanced in the duration of rain vs non-rain. Here we present a
two-step analysis utilising current machine learning techniques for imputing
precipitation data sampled at 30-minute intervals by devolving the task into
(a) the classification of rain or non-rain samples, and (b) regressing the
absolute values of predicted rain samples. Investigating 37 weather stations in
the UK, this machine learning process produces more accurate predictions for
recovering precipitation data than an established surface fitting technique
utilising neighbouring rain gauges. Increasing available features for the
training of machine learning algorithms increases performance with the
integration of weather data at the target site with externally sourced rain
gauges providing the highest performance. This method informs machine learning
models by utilising information in concurrently collected environmental data to
make accurate predictions of missing rain data. Capturing complex non-linear
relationships from weakly correlated variables is critical for data recovery at
sub-hourly resolutions. Such pipelines for data recovery can be developed and
deployed for highly automated and near instantaneous imputation of missing
values in ongoing datasets at high temporal resolutions.
- Abstract（参考訳）: 降雨データは, 降雨時間と降雨時間のバランスが良く, 自然界では確率的であり, 降雨時間と降雨時間のバランスがとれていないことから, データ回復の困難さを浮き彫りにしている。
本稿では,30分間隔でサンプリングした降水データに対して,現在の機械学習技術を用いた2段階解析を行う。
a) 雨又は非雨のサンプルの分類及び
(b)予測雨試料の絶対値を後退させる。
英国の37の気象観測所を調査したこの機械学習プロセスは、隣り合う雨量計を利用した表面フィッティング技術よりも、降水データを復元するための正確な予測を生成する。
機械学習アルゴリズムのトレーニングのための利用可能な機能の増加は、ターゲットサイトの気象データと、最も高いパフォーマンスを提供する外部ソース雨量計の統合によるパフォーマンスの向上をもたらす。
本手法は、同時収集された環境データに情報を活用して機械学習モデルに通知し、雨量の正確な予測を行う。
弱い相関変数から複雑な非線形関係を捉えることは、時間以下の分解能でデータ回復に不可欠である。
このようなデータリカバリ用のパイプラインは、高度に自動化され、ほぼ瞬時に、高いテンポラリゾルションで進行中のデータセットの値の欠落を予測できる。
関連論文リスト
- Generative Data Assimilation of Sparse Weather Station Observations at Kilometer Scales [5.453657018459705]
そこで本研究では,現実的に複雑な1kmスケールの気象条件下でのスコアベースデータ同化の実現可能性を示す。
40の気象観測所からの観測を取り入れることで、左の観測所で10%低いRMSEが達成される。
ますます野心的な地域国家ジェネレータと、In situ、地上ベース、衛星リモートセンシングデータストリームの集合を組み合わす拡張を探求する時期だ。
論文 参考訳（メタデータ） (2024-06-19T10:28:11Z) - TRG-Net: An Interpretable and Controllable Rain Generator [61.2760968459789]
本研究は,降雨の基盤となる物理的発生機構を十分に考慮した,新しい深層学習型降雨発生器を提案する。
その意義は、発電機が予想される雨をシミュレートするために雨の本質的な要素を精巧に設計するだけでなく、複雑で多様な雨のイメージに微妙に適応することにある。
提案した雨発生器が発生した雨は, 高品質であるだけでなく, 排水作業や下流作業にも有効であることを示す。
論文 参考訳（メタデータ） (2024-03-15T03:27:39Z) - An evaluation of deep learning models for predicting water depth
evolution in urban floods [59.31940764426359]
高空間分解能水深予測のための異なる深層学習モデルの比較を行った。
深層学習モデルはCADDIESセル-オートマタフラッドモデルによってシミュレーションされたデータを再現するために訓練される。
その結果,ディープラーニングモデルでは,他の手法に比べて誤差が低いことがわかった。
論文 参考訳（メタデータ） (2023-02-20T16:08:54Z) - A Bayesian Generative Adversarial Network (GAN) to Generate Synthetic
Time-Series Data, Application in Combined Sewer Flow Prediction [3.3139597764446607]
機械学習では、生成モデル(generative model)は、データ分散を学習して人工データを生成する方法のクラスである。
本研究では,限られた時系列データのバランスをとるために,合成時系列を生成するGANモデルを開発した。
本研究の目的は, 降水量データを用いて流れを予測し, モデル性能における合成データを用いたデータ増大の影響を検討することである。
論文 参考訳（メタデータ） (2023-01-31T16:12:26Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳（メタデータ） (2021-11-03T03:50:48Z) - Deep Learning for Rain Fade Prediction in Satellite Communications [6.619650459583444]
視線衛星システム、無人航空機、高高度プラットフォーム、マイクロ波リンクは雨の影響を受けやすい。
これらのシステムの降雨量予測は、降雨量発生前の地上ゲートウェイを積極的に切り替えてシームレスなサービスを維持するために重要である。
衛星画像データとレーダー画像データとリンク電力測定を用いて将来の雨害を予測するディープラーニングアーキテクチャが提案されている。
論文 参考訳（メタデータ） (2021-10-02T00:43:02Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳（メタデータ） (2021-07-14T21:10:47Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳（メタデータ） (2021-03-14T14:28:57Z) - Detection of Anomalies in a Time Series Data using InfluxDB and Python [0.0]
本論文では,時系列データに対するデータクリーニングと準備について述べる。
さらに,時系列データに異常なデータ点を検出するソリューションとして,コストに敏感な機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-15T17:27:39Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳（メタデータ） (2020-08-08T18:56:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。