論文の概要: Paraformer: Parameterization of Sub-grid Scale Processes Using Transformers

• arxiv url: http://arxiv.org/abs/2412.16763v1
• Date: Sat, 21 Dec 2024 20:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:56:06.769989
• Title: Paraformer: Parameterization of Sub-grid Scale Processes Using Transformers
• Title（参考訳）: 変圧器を用いたサブグリッドスケールプロセスのパラメータ化
• Authors: Shuochen Wang, Nishant Yadav, Auroop R. Ganguly,
• Abstract要約: 我々は、気候パラメータ化のために作成された最大のデータセットであるClimSim上で、"メモリ対応"トランスフォーマーベースのモデルを提案する。 この結果から,提案モデルがサブグリッドスケール変数の複雑な非線形依存性を捕捉できることが示唆された。
• 参考スコア（独自算出の注目度）: 6.622831012413507
• License:
• Abstract: One of the major sources of uncertainty in the current generation of Global Climate Models (GCMs) is the representation of sub-grid scale physical processes. Over the years, a series of deep-learning-based parameterization schemes have been developed and tested on both idealized and real-geography GCMs. However, datasets on which previous deep-learning models were trained either contain limited variables or have low spatial-temporal coverage, which can not fully simulate the parameterization process. Additionally, these schemes rely on classical architectures while the latest attention mechanism used in Transformer models remains unexplored in this field. In this paper, we propose Paraformer, a "memory-aware" Transformer-based model on ClimSim, the largest dataset ever created for climate parameterization. Our results demonstrate that the proposed model successfully captures the complex non-linear dependencies in the sub-grid scale variables and outperforms classical deep-learning architectures. This work highlights the applicability of the attenuation mechanism in this field and provides valuable insights for developing future deep-learning-based climate parameterization schemes.
• Abstract（参考訳）: グローバル気候モデル(GCM)の現在の世代における不確実性の主な原因の1つは、サブグリッドスケールの物理過程の表現である。 長年にわたり、一連のディープラーニングに基づくパラメータ化スキームが、理想化されたGCMと実地理学的なGCMの両方で開発され、テストされてきた。 しかし、以前のディープラーニングモデルがトレーニングされたデータセットは、限られた変数を含むか、パラメータ化プロセスを完全にシミュレートできない空間時間カバレッジが低いかのいずれかである。 さらに、これらのスキームは古典的なアーキテクチャに依存しているが、Transformerモデルで使われている最新のアテンションメカニズムはこの分野では未解明のままである。 本稿では,気候パラメータ化のために作成された最大のデータセットであるClimSimをベースとした,メモリ対応トランスフォーマーモデルであるParaformerを提案する。 実験の結果,提案モデルでは,サブグリッドスケール変数の複雑な非線形依存性を捕捉し,古典的なディープラーニングアーキテクチャよりも優れていることがわかった。 この研究は、この分野での減衰機構の適用性を強調し、将来の深層学習に基づく気候パラメータ化スキームの開発に有用な洞察を提供する。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Machine Learning Global Simulation of Nonlocal Gravity Wave Propagation [1.3108798582758452]
  WINDSETデータセットを用いて学習した機械学習(ML)モデルを用いて,大気中規模プロセスのグローバルシミュレーションを行った。 グローバルに解決されたGW運動量に基づいて訓練された意図的U-Netアーキテクチャを用いて、グローバルな非局所性の重要性と有効性を説明する。
  論文  参考訳（メタデータ） (2024-06-20T22:57:38Z)
• Automatic Parameterization for Aerodynamic Shape Optimization via Deep Geometric Learning [60.69217130006758]
  空力形状最適化のための形状パラメータ化を完全に自動化する2つの深層学習モデルを提案する。 どちらのモデルも、深い幾何学的学習を通じてパラメータ化し、人間の事前知識を学習された幾何学的パターンに埋め込むように最適化されている。 2次元翼の形状最適化実験を行い、2つのモデルに適用可能なシナリオについて論じる。
  論文  参考訳（メタデータ） (2023-05-03T13:45:40Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• A posteriori learning for quasi-geostrophic turbulence parametrization [5.333802479607541]
  最先端戦略は、教師付き学習タスクとしてこの問題に対処する。 サブグリッドのパラメトリゼーションが、$textita previousi$の基準を満たすために、エンドツーエンドでどのように訓練されるかを示す。
  論文  参考訳（メタデータ） (2022-04-08T08:23:06Z)
• Climate-Invariant Machine Learning [0.8831201550856289]
  現在の気候モデルは、モデルグリッドサイズよりも小さなスケールで発生するプロセスの表現を必要とする。 最近の機械学習(ML)アルゴリズムは、そのようなプロセス表現を改善することを約束するが、訓練されていない気候体制に悪影響を及ぼす傾向がある。 我々は、気候プロセスの知識をMLアルゴリズムに取り入れた「気候不変」MLと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-14T07:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。