論文の概要: Implementation of tangent linear and adjoint models for neural networks based on a compiler library tool
- arxiv url: http://arxiv.org/abs/2603.16976v1
- Date: Tue, 17 Mar 2026 13:11:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.318501
- Title: Implementation of tangent linear and adjoint models for neural networks based on a compiler library tool
- Title(参考訳): コンパイラーライブラリーツールを用いたニューラルネットワークの接線モデルと随伴モデルの実装
- Authors: Sa Xiao, Hao Jing, Honglu Sun, Haoyu Li,
- Abstract要約: 本稿では,人工知能コンポーネントと数値モデルの効率的な結合のためのコンパイルライブラリTorchNWPを提案する。
言語間の互換性の低下、結合の柔軟性の欠如、データ転送効率の低下といった問題に対処することを目的としている。
CMA-GFSやMCVのような数値天気予報モデルに効率的に組み込むことができる。
- 参考スコア(独自算出の注目度): 14.856725081014424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents TorchNWP, a compilation library tool for the efficient coupling of artificial intelligence components and traditional numerical models. It aims to address the issues of poor cross-language compatibility, insufficient coupling flexibility, and low data transfer efficiency between operational numerical models developed in Fortran and Python-based deep learning frameworks. Based on LibTorch, it optimizes and designs a unified application-layer calling interface, converts deep learning models under the PyTorch framework into a static binary format, and provides C/C++ interfaces. Then, using hybrid Fortran/C/C++ programming, it enables the deployment of deep learning models within numerical models. Integrating TorchNWP into a numerical model only requires compiling it into a callable link library and linking it during the compilation and linking phase to generate the executable. On this basis, tangent linear and adjoint model based on neural networks are implemented at the C/C++ level, which can shield the internal structure of neural network models and simplify the construction process of four-dimensional variational data assimilation systems. Meanwhile, it supports deployment on heterogeneous platforms, is compatible with mainstream neural network models, and enables mapping of different parallel granularities and efficient parallel execution. Using this tool requires minimal code modifications to the original numerical model, thus reducing coupling costs. It can be efficiently integrated into numerical weather prediction models such as CMA-GFS and MCV, and has been applied to the coupling of deep learning-based physical parameterization schemes (e.g., radiation, non-orographic gravity wave drag) and the development of their tangent linear and adjoint models, significantly improving the accuracy and efficiency of numerical weather prediction.
- Abstract(参考訳): 本稿では,人工知能コンポーネントと従来の数値モデルとを効率的に結合するためのコンパイルライブラリTorchNWPを提案する。
FortranとPythonベースのディープラーニングフレームワークで開発された運用数値モデル間の、言語間の互換性の低下、結合の柔軟性の不足、データ転送効率の低下といった問題に対処することを目的としている。
LibTorchをベースとして、統合されたアプリケーション層呼び出しインターフェースを最適化し、設計し、PyTorchフレームワークの下でディープラーニングモデルを静的バイナリ形式に変換し、C/C++インターフェースを提供する。
次に、ハイブリッドFortran/C/C++プログラミングを使用して、数値モデルにディープラーニングモデルをデプロイすることが可能になる。
TorchNWPを数値モデルに統合するには、呼び出し可能なリンクライブラリにコンパイルし、コンパイルおよびリンクフェーズ中にリンクして実行可能ファイルを生成する必要がある。
これにより、ニューラルネットワークモデルの内部構造を保護し、4次元変動データ同化システムの構築プロセスを簡素化することができる。
一方、異種プラットフォームへのデプロイメントをサポートし、主流のニューラルネットワークモデルと互換性があり、異なる並列粒度のマッピングと効率的な並列実行を可能にしている。
このツールを使用するには、元の数値モデルに最小限のコード修正が必要であるため、結合コストが削減される。
CMA-GFS や MCV などの数値天気予報モデルに効率よく組み込むことができ、深層学習に基づく物理パラメータ化スキーム(例えば、放射、非ホログラフィック重力波のドラッグ)の結合や、それらの接線線形および随伴モデルの開発に適用され、数値天気予報の精度と効率を大幅に向上した。
関連論文リスト
- Scalable Class-Incremental Learning Based on Parametric Neural Collapse [5.550140856551579]
増分学習は、新しいデータへの過度な適合や、古いデータの破滅的な忘れなど、しばしば課題に直面する。
パラメトリック・ニューラル・崩壊に基づくスケーラブルなクラスインクリメンタル・ラーニングを提案する。
論文 参考訳(メタデータ) (2025-12-26T03:34:59Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳(メタデータ) (2023-10-22T23:56:19Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳(メタデータ) (2023-08-23T10:48:28Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T12:02:27Z) - PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
我々は PDSketch という新しいドメイン定義言語を提案する。
これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。
移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
論文 参考訳(メタデータ) (2023-03-09T18:54:12Z) - A Fortran-Keras Deep Learning Bridge for Scientific Computing [6.768544973019004]
ソフトウェアライブラリであるFortran-Keras Bridge(FKB)を導入する。
本稿は、FKBが提供するいくつかのユニークな機能、例えば、カスタマイズ可能なレイヤ、損失関数、ネットワークアンサンブルについて述べる。
本稿は,地球規模の気候シミュレーションに対する実験的アプローチの堅牢性に関するオープンな疑問にFKBを適用したケーススタディで締めくくっている。
論文 参考訳(メタデータ) (2020-04-14T15:10:09Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。