論文の概要: DIRESA, a distance-preserving nonlinear dimension reduction technique based on regularized autoencoders
- arxiv url: http://arxiv.org/abs/2404.18314v1
- Date: Sun, 28 Apr 2024 20:54:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 15:06:26.150565
- Title: DIRESA, a distance-preserving nonlinear dimension reduction technique based on regularized autoencoders
- Title（参考訳）: 正規化オートエンコーダを用いた距離保存非線形次元低減手法DIRESA
- Authors: Geert De Paepe, Lesley De Cruz,
- Abstract要約: 気象学では、過去のデータセットで類似した気象パターンやアナログを見つけることは、データの同化、予測、後処理に有用である。
気候科学において、歴史的および気候予測データのアナログは帰属研究や影響研究に使用される。
本稿では,オートエンコーダ(AE)ニューラルネットワークを用いた次元削減手法を提案し,これらのデータセットを圧縮し,解釈可能な圧縮潜在空間で探索を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In meteorology, finding similar weather patterns or analogs in historical datasets can be useful for data assimilation, forecasting, and postprocessing. In climate science, analogs in historical and climate projection data are used for attribution and impact studies. However, most of the time, those large weather and climate datasets are nearline. They must be downloaded, which takes a lot of bandwidth and disk space, before the computationally expensive search can be executed. We propose a dimension reduction technique based on autoencoder (AE) neural networks to compress those datasets and perform the search in an interpretable, compressed latent space. A distance-regularized Siamese twin autoencoder (DIRESA) architecture is designed to preserve distance in latent space while capturing the nonlinearities in the datasets. Using conceptual climate models of different complexities, we show that the latent components thus obtained provide physical insight into the dominant modes of variability in the system. Compressing datasets with DIRESA reduces the online storage and keeps the latent components uncorrelated, while the distance (ordering) preservation and reconstruction fidelity robustly outperform Principal Component Analysis (PCA) and other dimension reduction techniques such as UMAP or variational autoencoders.
- Abstract（参考訳）: 気象学では、過去のデータセットで類似した気象パターンやアナログを見つけることは、データの同化、予測、後処理に有用である。
気候科学において、歴史的および気候予測データのアナログは帰属研究や影響研究に使用される。
しかし、ほとんどの場合、その大きな気象と気候のデータセットはほぼ直線である。
それらはダウンロードされなければならず、計算に高価な検索が実行される前に、多くの帯域幅とディスクスペースが必要になります。
本稿では,オートエンコーダ(AE)ニューラルネットワークを用いた次元削減手法を提案し,これらのデータセットを圧縮し,解釈可能な圧縮潜在空間で探索を行う。
距離規則化されたシームズ双対オートエンコーダ(DIRESA)アーキテクチャは、データセット内の非線形性を捕捉しながら、潜時空間における距離を保存するように設計されている。
複雑度の異なる概念的気候モデルを用いて, 得られた潜伏成分が, システムの変動性の支配的なモードに関する物理的洞察を与えることを示した。
DIRESAでデータセットを圧縮することで、オンラインストレージを減らし、遅延成分を非相関に保ちながら、距離(順序)保存と復元フィデリティは、PCA(Principal Component Analysis)や、MAPや変分オートエンコーダのような他の次元削減技術よりしっかりと優れている。
関連論文リスト
- Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。
本手法はGAN内の階層層を系統的に探索する。
さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
論文 参考訳（メタデータ） (2024-06-09T09:15:54Z) - Machine Learning Techniques for Data Reduction of Climate Applications [11.55089543867768]
本稿では,まずニューラルネットワーク技術を用いてQoIが存在する可能性が高い領域を導出するパイプライン圧縮手法を提案する。
差分誤差境界を持つデータを圧縮するために、Gurranteed Autoencoder (GAE) を用いる。
その結果,熱帯性サイクロンや大気中の河川検出・追跡などの下流量のE3SMシミュレーションモデルから得られた気候データについて報告する。
論文 参考訳（メタデータ） (2024-05-01T21:44:47Z) - Distributional Principal Autoencoders [2.519266955671697]
次元減少技術は通常、再構成されたデータが元のデータと同一でないという意味で情報を失う。
本稿では,高次元データを低次元潜在変数にマッピングするエンコーダからなる分散主オートエンコーダ(DPA)を提案する。
データを再構成するために、DPAデコーダは、ある潜在値にマッピングされたすべてのデータの条件分布に一致させることを目的としている。
論文 参考訳（メタデータ） (2024-04-21T12:52:04Z) - Computationally and Memory-Efficient Robust Predictive Analytics Using Big Data [0.0]
本研究では、データ不確実性、ストレージ制限、ビッグデータを用いた予測データ駆動モデリングの課題をナビゲートする。
本稿では,ロバスト主成分分析(RPCA)を有効ノイズ低減と外乱除去に利用し,最適センサ配置(OSP)を効率的なデータ圧縮・記憶に活用する。
論文 参考訳（メタデータ） (2024-03-27T22:39:08Z) - History Matching for Geological Carbon Storage using Data-Space
Inversion with Spatio-Temporal Data Parameterization [0.0]
データ空間インバージョン(DSI)では、履歴にマッチした興味の量は、後続のジオモデルを構築することなく直接推測される。
これは、ベイズの設定内でのO(1000)事前シミュレーション結果、データパラメータ化、および後続サンプリングのセットを用いて効率よく達成される。
新たなパラメータ化では、次元縮小のための対向オートエンコーダ(AAE)と畳み込み長短期メモリ(convLSTM)ネットワークを使用して、圧力場と飽和場の空間分布と時間的進化を表す。
論文 参考訳（メタデータ） (2023-10-05T00:50:06Z) - ARFA: An Asymmetric Receptive Field Autoencoder Model for Spatiotemporal
Prediction [55.30913411696375]
本稿では,非対称な受容場オートエンコーダ (ARFA) モデルを提案する。
エンコーダでは,大域的時間的特徴抽出のための大規模なカーネルモジュールを提案し,デコーダでは局所的時間的再構成のための小さなカーネルモジュールを開発する。
降水予測のための大規模レーダエコーデータセットであるRainBenchを構築し,その領域における気象データの不足に対処する。
論文 参考訳（メタデータ） (2023-09-01T07:55:53Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳（メタデータ） (2023-01-24T23:19:01Z) - Dataset Condensation with Latent Space Knowledge Factorization and
Sharing [73.31614936678571]
与えられたデータセットの規則性を利用してデータセットの凝縮問題を解決する新しい手法を提案する。
データセットを元の入力空間に直接凝縮するのではなく、学習可能な一連のコードでデータセットの生成プロセスを仮定する。
提案手法は,様々なベンチマークデータセットに対して,有意なマージンで新しい最先端記録を達成できることを実験的に示す。
論文 参考訳（メタデータ） (2022-08-21T18:14:08Z) - iSDF: Real-Time Neural Signed Distance Fields for Robot Perception [64.80458128766254]
iSDFは実時間符号付き距離場再構成のための連続学習システムである。
より正確な再構築と、衝突コストと勾配のより良い近似を生成する。
論文 参考訳（メタデータ） (2022-04-05T15:48:39Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。