論文の概要: Fourier analysis of the physics of transfer learning for data-driven subgrid-scale models of ocean turbulence

• arxiv url: http://arxiv.org/abs/2504.15487v1
• Date: Mon, 21 Apr 2025 23:42:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-01 01:02:57.445014
• Title: Fourier analysis of the physics of transfer learning for data-driven subgrid-scale models of ocean turbulence
• Title（参考訳）: 海洋乱流のデータ駆動サブグリッドスケールモデルのための移動学習物理のフーリエ解析
• Authors: Moein Darman, Pedram Hassanzadeh, Laure Zanna, Ashesh Chattopadhyay,
• Abstract要約: トランスファーラーニング(TL)は、天気予報や乱流モデリングなどの応用におけるニューラルネットワーク(NN)の性能を高める強力なツールである。 本研究では,9層畳み込みNNを用いて,2層海洋準地球栄養系における沈み込み力の予測を行う。 ターゲットシステムからのデータで1つの層のみをトレーニングすることにより、この過小評価が修正され、NNはターゲットのスペクトルに一致する予測を生成することができる。
• 参考スコア（独自算出の注目度）: 1.7961156132737741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning (TL) is a powerful tool for enhancing the performance of neural networks (NNs) in applications such as weather and climate prediction and turbulence modeling. TL enables models to generalize to out-of-distribution data with minimal training data from the new system. In this study, we employ a 9-layer convolutional NN to predict the subgrid forcing in a two-layer ocean quasi-geostrophic system and examine which metrics best describe its performance and generalizability to unseen dynamical regimes. Fourier analysis of the NN kernels reveals that they learn low-pass, Gabor, and high-pass filters, regardless of whether the training data are isotropic or anisotropic. By analyzing the activation spectra, we identify why NNs fail to generalize without TL and how TL can overcome these limitations: the learned weights and biases from one dataset underestimate the out-of-distribution sample spectra as they pass through the network, leading to an underestimation of output spectra. By re-training only one layer with data from the target system, this underestimation is corrected, enabling the NN to produce predictions that match the target spectra. These findings are broadly applicable to data-driven parameterization of dynamical systems.
• Abstract（参考訳）: トランスファーラーニング(TL)は、天気予報や乱流モデリングなどの応用におけるニューラルネットワーク(NN)の性能を高める強力なツールである。 TLは、新システムからのトレーニングデータを最小限に抑えて、配布外のデータを一般化することを可能にする。 本研究では,9層畳み込みNNを用いて,2層海洋準地球栄養系における沈み込み力の予測を行い,その性能と動的状態に対する一般化性について検討する。 NNカーネルのフーリエ解析により、トレーニングデータが等方性であるか異方性であるかに関わらず、低域通過フィルタ、ガボルフィルタ、高域通過フィルタを学習することが明らかになった。 活性化スペクトルを解析することにより、NNがTLなしで一般化できない理由と、TLがこれらの制限を克服する方法について同定する: あるデータセットから得られた重みとバイアスは、ネットワークを通過するときに分布外サンプルスペクトルを過小評価し、出力スペクトルを過小評価する。 ターゲットシステムからのデータで1つの層のみをトレーニングすることにより、この過小評価が修正され、NNはターゲットのスペクトルに一致する予測を生成することができる。 これらの知見は、動的システムのデータ駆動パラメータ化に広く応用できる。

関連論文リスト

• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems [3.8719670789415925]
  本稿ではディープリカレント構成ネットワーク(DeepRSCN)と呼ばれる新しいディープリカレント計算フレームワークを提案する。 DeepRSCNはインクリメンタルに構築され、すべての貯水池ノードは最終的な出力に直接リンクする。 トレーニングサンプルのセットが与えられた場合、DeepRSCNは、カスケードされた入力読み出し重みを持つランダム基底関数からなる学習表現を迅速に生成できる。
  論文  参考訳（メタデータ） (2024-10-28T10:33:15Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Interpretable A-posteriori Error Indication for Graph Neural Network Surrogate Models [0.0]
  本稿では,グラフニューラルネットワーク(GNN)の解釈可能性向上手法を提案する。 最終結果は、予測タスクに本質的に関連付けられたサブグラフに対応する物理空間内の領域を分離する解釈可能なGNNモデルである。 解釈可能なGNNは、推論中に予測される予測エラーの大部分に対応するグラフノードを特定するためにも使用できる。
  論文  参考訳（メタデータ） (2023-11-13T18:37:07Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Explaining the physics of transfer learning a data-driven subgrid-scale closure to a different turbulent flow [0.0]
  トランスファーラーニング(TL)はニューラルネットワーク(NN)の科学的応用において強力なツールになりつつある TLでは、ベースシステムのためにトレーニング済みのNNの選択されたレイヤが、ターゲットシステムからの小さなデータセットを使用して再トレーニングされる。 本稿では,多分野にわたる非線形システムに対して,新しい解析手法と(1)-(2)に対処する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-06-07T11:42:29Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Deep learning and high harmonic generation [0.0]
  我々は,高調波発生(hhg)シナリオに適用する場合に,様々な深層ニューラルネットワーク(nns)の有用性を検討する。 まず,二原子系および三原子系の低次元モデルから時間依存双極子およびhhg放出スペクトルを予測するためにnnsを訓練する。 次に,ネットワークに適用可能性の範囲を広げるために,転送学習をネットワークに適用できることを実証する。
  論文  参考訳（メタデータ） (2020-12-18T16:13:17Z)
• Transfer Learning with Convolutional Networks for Atmospheric Parameter Retrieval [14.131127382785973]
  MetOp衛星シリーズに搭載された赤外線音波干渉計(IASI)は、数値気象予測(NWP)に重要な測定値を提供する IASIが提供する生データから正確な大気パラメータを取得することは大きな課題であるが、NWPモデルでデータを使用するには必要である。 本研究では,iasiデータから抽出した特徴を,低い高度で異なる物理変数を予測するように設計された別の統計手法への入力として使用できることを示す。
  論文  参考訳（メタデータ） (2020-12-09T09:28:42Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Learning across label confidence distributions using Filtered Transfer Learning [0.44040106718326594]
  本稿では,大きな可変信頼度データセットを持つノイズの多いデータシステムにおいて,予測能力を向上させるための伝達学習手法を提案する。 本稿では、複数の階層のデータ信頼度を個別のタスクとして定義する、FTL(Filted Transfer Learning)と呼ばれるディープニューラルネットワーク手法を提案する。 FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-03T21:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。