論文の概要: Comparative Analysis of Machine Learning-Based Imputation Techniques for Air Quality Datasets with High Missing Data Rates
- arxiv url: http://arxiv.org/abs/2412.13966v2
- Date: Wed, 25 Dec 2024 13:39:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:21:14.987284
- Title: Comparative Analysis of Machine Learning-Based Imputation Techniques for Air Quality Datasets with High Missing Data Rates
- Title(参考訳): 欠落データ率の高い大気質データセットに対する機械学習に基づくインプット手法の比較解析
- Authors: Sen Yan, David J. O'Connor, Xiaojun Wang, Noel E. O'Connor, Alan F. Smeaton, Mingming Liu,
- Abstract要約: 都市汚染は深刻な健康リスクをもたらし、特に交通関連の大気汚染は、多くの都市で大きな問題となっている。
この研究は、データレートの低いデータセットを処理するための洞察を提供することを目的としている。
アンサンブル法,深層学習モデル,拡散モデルなど,様々な計算・予測手法を評価・比較した。
- 参考スコア(独自算出の注目度): 11.458531729724191
- License:
- Abstract: Urban pollution poses serious health risks, particularly in relation to traffic-related air pollution, which remains a major concern in many cities. Vehicle emissions contribute to respiratory and cardiovascular issues, especially for vulnerable and exposed road users like pedestrians and cyclists. Therefore, accurate air quality monitoring with high spatial resolution is vital for good urban environmental management. This study aims to provide insights for processing spatiotemporal datasets with high missing data rates. In this study, the challenge of high missing data rates is a result of the limited data available and the fine granularity required for precise classification of PM2.5 levels. The data used for analysis and imputation were collected from both mobile sensors and fixed stations by Dynamic Parcel Distribution, the Environmental Protection Agency, and Google in Dublin, Ireland, where the missing data rate was approximately 82.42%, making accurate Particulate Matter 2.5 level predictions particularly difficult. Various imputation and prediction approaches were evaluated and compared, including ensemble methods, deep learning models, and diffusion models. External features such as traffic flow, weather conditions, and data from the nearest stations were incorporated to enhance model performance. The results indicate that diffusion methods with external features achieved the highest F1 score, reaching 0.9486 (Accuracy: 94.26%, Precision: 94.42%, Recall: 94.82%), with ensemble models achieving the highest accuracy of 94.82%, illustrating that good performance can be obtained despite a high missing data rate.
- Abstract(参考訳): 都市汚染は深刻な健康リスクをもたらし、特に交通関連の大気汚染は、多くの都市で大きな問題となっている。
自動車の排出は、特に歩行者やサイクリストのような脆弱で露出した道路利用者にとって、呼吸と心臓血管の問題に寄与する。
そのため, 空間分解能の高い正確な空気質モニタリングは, 都市環境管理に不可欠である。
本研究は,高損失データ率の時空間データセットを処理するための洞察を提供することを目的とする。
本研究では,PM2.5値の正確な分類に必要なデータ量と粒度が制限された結果,高損失データ率の課題となる。
解析と計算に使用されたデータは、ダイナミックパーセル分布(Dynamic Parcel Distribution)、環境保護庁(Environmental Protection Agency)、アイルランドのダブリン(Dublin)のGoogleによって、モバイルセンサーと固定ステーションの両方から収集された。
アンサンブル法,深層学習モデル,拡散モデルなど,様々な計算・予測手法を評価・比較した。
モデル性能を高めるため,交通流,気象条件,最寄り駅のデータなどの外部的特徴を組み込んだ。
その結果、外部特徴を持つ拡散法は0.9486(精度:94.26%、精度:94.42%、リコール:94.82%)に達し、アンサンブルモデルは94.82%の最高精度を達成した。
関連論文リスト
- Enhancing PM2.5 Data Imputation and Prediction in Air Quality Monitoring Networks Using a KNN-SINDy Hybrid Model [0.0]
大気汚染、特に微粒子物質(PM2.5)は公衆衛生や環境に重大なリスクをもたらす。
本研究では、2016年からのトレーニングデータを用いて、PM2.5データの欠落を予測し、その性能を確立されたSoft Impute(SI)およびK-Nearest Neighbors(KNN)手法と比較することにより、SINDy2.5(Sparse Identification of Dynamics)の適用について検討する。
論文 参考訳(メタデータ) (2024-09-18T02:08:17Z) - A Framework for Scalable Ambient Air Pollution Concentration Estimation [0.0]
英国では大気汚染が重要な問題であり、大気汚染濃度のデータが大気質の改善を目的とした介入の基礎となっている。
欠落した測度を埋めることにより,時間的・空間的データギャップに対処するデータ駆動型機械学習モデルフレームワークを提案する。
このアプローチは、2018年を通してイングランドの包括的なデータセットを1kmx1kmの時間分解能で提供する。
論文 参考訳(メタデータ) (2024-01-16T18:03:07Z) - Residual Corrective Diffusion Modeling for Km-scale Atmospheric Downscaling [58.456404022536425]
気象・気候からの物理的危険予知技術の現状には、粗い解像度のグローバルな入力によって駆動される高価なkmスケールの数値シミュレーションが必要である。
ここでは、コスト効率のよい機械学習代替手段として、このようなグローバルな入力をkmスケールにダウンスケールするために、生成拡散アーキテクチャを探索する。
このモデルは、台湾上空の地域気象モデルから2kmのデータを予測するために訓練され、世界25kmの再解析に基づいている。
論文 参考訳(メタデータ) (2023-09-24T19:57:22Z) - Efficient Real-time Smoke Filtration with 3D LiDAR for Search and Rescue
with Autonomous Heterogeneous Robotic Systems [56.838297900091426]
スモークとダストは、搭載された知覚システムに依存するため、あらゆる移動ロボットプラットフォームの性能に影響を与える。
本稿では,重みと空間情報に基づく新しいモジュラー計算フィルタを提案する。
論文 参考訳(メタデータ) (2023-08-14T16:48:57Z) - Multimodal Dataset from Harsh Sub-Terranean Environment with Aerosol
Particles for Frontier Exploration [55.41644538483948]
本稿では, エアロゾル粒子を用いた過酷で非構造的な地下環境からのマルチモーダルデータセットを提案する。
ロボットオペレーティング・システム(ROS)フォーマットのすべてのオンボードセンサーから、同期された生データ計測を含んでいる。
本研究の焦点は、時間的・空間的なデータの多様性を捉えることだけでなく、取得したデータに厳しい条件が及ぼす影響を示すことである。
論文 参考訳(メタデータ) (2023-04-27T20:21:18Z) - Robust Trajectory Prediction against Adversarial Attacks [84.10405251683713]
ディープニューラルネットワーク(DNN)を用いた軌道予測は、自律運転システムにおいて不可欠な要素である。
これらの手法は敵の攻撃に対して脆弱であり、衝突などの重大な結果をもたらす。
本研究では,敵対的攻撃に対する軌道予測モデルを保護するための2つの重要な要素を同定する。
論文 参考訳(メタデータ) (2022-07-29T22:35:05Z) - Vision in adverse weather: Augmentation using CycleGANs with various
object detectors for robust perception in autonomous racing [70.16043883381677]
自律レースでは、天気は突然変化し、認識が著しく低下し、非効率な操作が引き起こされる。
悪天候の検知を改善するために、ディープラーニングベースのモデルは通常、そのような状況下でキャプチャされた広範なデータセットを必要とする。
本稿では,5つの最先端検出器のうち4つの性能向上を図るために,自動レース(CycleGANを用いた)における合成悪条件データセットを用いた手法を提案する。
論文 参考訳(メタデータ) (2022-01-10T10:02:40Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z) - Mining atmospheric data [0.0]
最初の問題は、新しい公開データセットとベンチマークの構築に関するものだ。
第2の課題は、大気データ分類のための深層学習手法の調査である。
対象とする用途は、空気質の評価と予測である。
論文 参考訳(メタデータ) (2021-06-26T10:04:35Z) - Improving Maritime Traffic Emission Estimations on Missing Data with
CRBMs [1.6311150636417262]
海上交通の排出は、沿岸都市の大気汚染に大きく影響するため、政府にとって大きな関心事である。
バルセロナ・スーパーコンピュータ・センターのCALIOPEのような最先端の複合システムは、空気品質のモデル化に使われている。
本研究では,条件付き制限付きボルツマンマシン(CRBM)と機械学習手法を用いた船舶データ処理手法を提案する。
論文 参考訳(メタデータ) (2020-09-07T10:32:43Z) - Analytical Equations based Prediction Approach for PM2.5 using
Artificial Neural Network [0.0]
粒子状物質(PM2.5)は大気質指数(AQI)を測定する重要な粒子状汚染物質の一つである。
PM2.5をモニターするために空気質監視局が使用する従来の機器は、コストが高く、かさばる、時間を消費し、電力を消費する。
本稿では,ニューラルネットワーク(ANN)を用いたPM2.5の解析式に基づく予測手法を提案する。
論文 参考訳(メタデータ) (2020-02-26T11:39:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。