論文の概要: Explaining the physics of transfer learning a data-driven subgrid-scale closure to a different turbulent flow

• arxiv url: http://arxiv.org/abs/2206.03198v1
• Date: Tue, 7 Jun 2022 11:42:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 22:54:51.672503
• Title: Explaining the physics of transfer learning a data-driven subgrid-scale closure to a different turbulent flow
• Title（参考訳）: 異なる乱流に対するデータ駆動サブグリッドスケール閉包の伝達学習の物理を説明する
• Authors: Adam Subel, Yifei Guan, Ashesh Chattopadhyay, Pedram Hassanzadeh
• Abstract要約: トランスファーラーニング(TL)はニューラルネットワーク(NN)の科学的応用において強力なツールになりつつある TLでは、ベースシステムのためにトレーニング済みのNNの選択されたレイヤが、ターゲットシステムからの小さなデータセットを使用して再トレーニングされる。 本稿では,多分野にわたる非線形システムに対して,新しい解析手法と(1)-(2)に対処する新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning (TL) is becoming a powerful tool in scientific applications of neural networks (NNs), such as weather/climate prediction and turbulence modeling. TL enables out-of-distribution generalization (e.g., extrapolation in parameters) and effective blending of disparate training sets (e.g., simulations and observations). In TL, selected layers of a NN, already trained for a base system, are re-trained using a small dataset from a target system. For effective TL, we need to know 1) what are the best layers to re-train? and 2) what physics are learned during TL? Here, we present novel analyses and a new framework to address (1)-(2) for a broad range of multi-scale, nonlinear systems. Our approach combines spectral analyses of the systems' data with spectral analyses of convolutional NN's activations and kernels, explaining the inner-workings of TL in terms of the system's nonlinear physics. Using subgrid-scale modeling of several setups of 2D turbulence as test cases, we show that the learned kernels are combinations of low-, band-, and high-pass filters, and that TL learns new filters whose nature is consistent with the spectral differences of base and target systems. We also find the shallowest layers are the best to re-train in these cases, which is against the common wisdom guiding TL in machine learning literature. Our framework identifies the best layer(s) to re-train beforehand, based on physics and NN theory. Together, these analyses explain the physics learned in TL and provide a framework to guide TL for wide-ranging applications in science and engineering, such as climate change modeling.
• Abstract（参考訳）: トランスファーラーニング(TL)は、気象・気候予測や乱流モデリングといったニューラルネットワーク(NN)の科学的応用において、強力なツールになりつつある。 TLは分布外一般化(例えばパラメータの外挿)と異なるトレーニングセット(例えばシミュレーションや観察)の効果的なブレンディングを可能にする。 TLでは、ベースシステムのためにトレーニング済みのNNの選択されたレイヤが、ターゲットシステムからの小さなデータセットを使用して再トレーニングされる。 効果的なTLのためには、我々は知る必要がある 1) 再トレーニングに最適なレイヤは何か? そして 2)TL中に何を学んだか? 本稿では,多種多様な非線形システムに対して,新しい解析手法と(1)-(2)に対処する新しい枠組みを提案する。 本手法は, システムの非線形物理の観点からtlの内部動作を説明するため, システムのスペクトル解析と畳み込みnnの活性化と核のスペクトル解析を組み合わせたものである。 実験ケースとして2次元乱流のサブグリッドスケールモデルを用いて, 学習したカーネルは低域, 帯域幅, 高域通過フィルタの組み合わせであり, TLはベースシステムとターゲットシステムのスペクトル差に一致した新しいフィルタを学習することを示した。 また、最も浅い層は、機械学習文学においてTLを導く一般的な知恵に反する、これらの場合において、再トレーニングする上で最良のものであることも分かっています。 本フレームワークは,物理理論とNN理論に基づいて,事前トレーニングを行う上で最適なレイヤを同定する。 これらの分析は、TLで学んだ物理学を説明し、気候変動モデリングのような科学や工学の幅広い応用にTLを導くための枠組みを提供する。

関連論文リスト

• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Mobile Traffic Prediction at the Edge through Distributed and Transfer Learning [2.687861184973893]
  このトピックの研究は、異なるネットワーク要素からデータを収集することによって、中央集権的な予測を行うことに集中している。 本研究では,エッジ上で得られたデータセットを大規模計測キャンペーンで活用するエッジコンピューティングに基づく新しい予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-22T23:48:13Z)
• Accurate deep learning sub-grid scale models for large eddy simulations [0.0]
  大型渦流シミュレーション(LES)のために開発されたサブグリッドスケール(SGS)乱流モデルについて述べる。 彼らの開発には、物理インフォームド・ロバストで効率的なDeep Learning (DL)アルゴリズムの定式化が必要だった。 2つの摩擦レイノルズ数における正準流路流れの直接シミュレーションによるデータの明示的なフィルタリングは、訓練と試験のための正確なデータを提供した。
  論文  参考訳（メタデータ） (2023-07-19T15:30:06Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
  軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。 ニューラル微分方程式モデルに基づく新しい手法を提案する。 我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
  論文  参考訳（メタデータ） (2022-07-21T12:11:18Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Transfer Learning with Convolutional Networks for Atmospheric Parameter Retrieval [14.131127382785973]
  MetOp衛星シリーズに搭載された赤外線音波干渉計(IASI)は、数値気象予測(NWP)に重要な測定値を提供する IASIが提供する生データから正確な大気パラメータを取得することは大きな課題であるが、NWPモデルでデータを使用するには必要である。 本研究では,iasiデータから抽出した特徴を,低い高度で異なる物理変数を予測するように設計された別の統計手法への入力として使用できることを示す。
  論文  参考訳（メタデータ） (2020-12-09T09:28:42Z)
• Physics-Based Deep Learning for Fiber-Optic Communication Systems [10.630021520220653]
  非線形シュリンガー方程式(NLSE)により制御される光ファイバー通信システムのための新しい機械学習手法を提案する。 本研究の主目的は,NLSEの数値解法として一般的なスプリットステップ法(SSM)が,深い多層ニューラルネットワークと同じ機能を有することである。 我々は、SSMをパラメータ化し、ニューラルネットワークの重み行列と同様、線形ステップを一般線形関数として見ることにより、この接続を利用する。
  論文  参考訳（メタデータ） (2020-10-27T12:55:23Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。