論文の概要: Using Neural Networks for Data Cleaning in Weather Datasets
- arxiv url: http://arxiv.org/abs/2406.15027v1
- Date: Fri, 21 Jun 2024 10:09:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 13:53:51.451350
- Title: Using Neural Networks for Data Cleaning in Weather Datasets
- Title（参考訳）: ニューラルネットワークによる気象データセットのデータクリーニング
- Authors: Jack R. P. Hanslope, Laurence Aitchison,
- Abstract要約: 我々は、風場から嵐の場所へのマッピングのためにニューラルネットワークを訓練した。
IBTrACSのノイズの多いラベルにのみトレーニングされたこのニューラルネットワークは、ノイズを生じさせる効果があることがわかった。
- 参考スコア（独自算出の注目度）: 25.958907308877148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In climate science, we often want to compare across different datasets. Difficulties can arise in doing this due to inevitable mismatches that arise between observational and reanalysis data, or even between different reanalyses. This misalignment can raise problems for any work that seeks to make inferences about one dataset from another. We considered tropical cyclone location as an example task with one dataset providing atmospheric conditions (ERA5) and another providing storm tracks (IBTrACS). We found that while the examples often aligned well, there were a considerable proportion (around 25%) which were not well aligned. We trained a neural network to map from the wind field to the storm location; in this setting misalignment in the datasets appears as "label noise" (i.e. the labelled storm location does not correspond to the underlying wind field). We found that this neural network trained only on the often noisy labels from IBTrACS had a denoising effect, and performed better than the IBTrACS labels themselves, as measured by human preferences. Remarkably, this even held true for training points, on which we might have expected the network to overfit to the IBTrACS predictions.
- Abstract（参考訳）: 気候科学では、さまざまなデータセットを比較したい場合が多い。
このような困難は、観測データと再分析データの間に生じる必然的なミスマッチ、あるいは異なる再解析の間に生じることによる可能性がある。
このミスアライメントは、あるデータセットを別のデータセットから推論しようとする作業に対して問題を引き起こす可能性がある。
本研究では,大気条件 (ERA5) とストームトラック (IBTrACS) を提供する1つのデータセットを例として,熱帯サイクロンの位置を例に挙げた。
例はよく一致しているのに、かなりの割合(約25%)がうまく一致していないことが分かりました。
この設定では、データセットのミスアライメントは"ラベルノイズ"(すなわち、ラベル付きストーム位置は、下層の風速に対応しない)として現れる。
このニューラルネットワークは、IBTrACSからしばしばノイズの多いラベルにのみトレーニングされ、人間の嗜好によって測定されたIBTrACSラベルよりも優れた性能を示した。
興味深いことに、これはトレーニングポイントにも当てはまり、ネットワークがIBTrACSの予測に過度に適合することを期待していたかもしれない。
関連論文リスト
- Generating Fine-Grained Causality in Climate Time Series Data for Forecasting and Anomaly Detection [67.40407388422514]
我々は、TBN Granger Causalityという概念的微粒因果モデルを設計する。
次に, TBN Granger Causality を生成的に発見する TacSas という, エンドツーエンドの深部生成モデルを提案する。
気候予報のための気候指標ERA5と、極度気象警報のためのNOAAの極端気象基準でTacSasを試験する。
論文 参考訳（メタデータ） (2024-08-08T06:47:21Z) - Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-20T01:34:13Z) - Label-Efficient Semantic Segmentation of LiDAR Point Clouds in Adverse Weather Conditions [10.306226508237348]
逆気象条件はLiDARセンサーの性能に深刻な影響を及ぼす可能性がある。
悪天候を検出するための現在のアプローチは、大量のラベル付きデータを必要とする。
本稿では,悪天候下でのLiDAR点雲のセグメンテーションに対するラベル効率のよいアプローチを提案する。
論文 参考訳（メタデータ） (2024-06-14T10:29:00Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Comparing Importance Sampling Based Methods for Mitigating the Effect of
Class Imbalance [0.0]
我々は,損失再加重,アンダーサンプリング,オーバーサンプリングという,重要なサンプリングから導かれる3つのテクニックを比較した。
アンダーサンプリングにおける損失の重み付けは、アンダー表現されたクラスの性能に悪影響を及ぼすことがわかった。
我々の発見は、プラネタリーデータセットに何らかの冗長性が存在することも示唆している。
論文 参考訳（メタデータ） (2024-02-28T22:52:27Z) - Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls
and New Benchmarking [66.83273589348758]
リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。
近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。
これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
論文 参考訳（メタデータ） (2023-06-18T01:58:59Z) - Energy-based Detection of Adverse Weather Effects in LiDAR Data [7.924836086640871]
本稿では,LiDARデータにおける悪天候の影響を検知するための新しい手法を提案する。
提案手法では,低エネルギースコアを不整点,高エネルギースコアを不整点に関連付ける。
悪天候下でのLiDAR知覚の研究領域の拡大を支援するため、SemanticSprayデータセットをリリースする。
論文 参考訳（メタデータ） (2023-05-25T15:03:36Z) - Imbalanced Aircraft Data Anomaly Detection [103.01418862972564]
航空シナリオ下でのセンサーからの時間データの異常検出は実用的だが難しい課題である。
本稿では,グラフィカル・テンポラル・データ分析フレームワークを提案する。
シリーズ・トゥ・イメージ (S2I) と呼ばれる3つのモジュール、ユークリッド距離 (CRD) を用いたクラスタ・ベース・リサンプリング・アプローチ、変数・ベース・ロス (VBL) から構成される。
論文 参考訳（メタデータ） (2023-05-17T09:37:07Z) - DL-Corrector-Remapper: A grid-free bias-correction deep learning
methodology for data-driven high-resolution global weather forecasting [11.334341754942917]
我々はFourCastNet(FCN)の一様予測を補正し、再マップし、微調整する手法を開発した。
これは、数値天気予報(NWP)のバイアス補正と後処理に似ている
私たちはこのネットワークをDLCR(Deep-Learning-Corrector-Remapper)と呼ぶ。
論文 参考訳（メタデータ） (2022-10-21T23:04:44Z) - RiWNet: A moving object instance segmentation Network being Robust in
adverse Weather conditions [13.272209740926156]
我々は、ネットワークの構造設計を通じて、気象干渉に対するレジリエンスを改善する新しい可能性に焦点を当てる。
本稿では,プログレッシブなトップダウンインタラクションとアテンションリファインメントモジュールを備えた,RiWFPNと呼ばれる新しいFPN構造を提案する。
我々は,映像中の時間情報をキャプチャして動作情報を学習するためにSOLOV2を拡張し,RiWNetと呼ばれるRiWFPNを用いた移動オブジェクトインスタンスセグメンテーションネットワークを提案する。
論文 参考訳（メタデータ） (2021-09-04T08:55:36Z) - Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。
提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-02-11T21:08:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。