論文の概要: A Fortran-Keras Deep Learning Bridge for Scientific Computing

• arxiv url: http://arxiv.org/abs/2004.10652v2
• Date: Tue, 4 Aug 2020 00:15:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 10:16:42.118298
• Title: A Fortran-Keras Deep Learning Bridge for Scientific Computing
• Title（参考訳）: 科学計算のためのFortran-Kerasディープラーニングブリッジ
• Authors: Jordan Ott, Mike Pritchard, Natalie Best, Erik Linstead, Milan Curcic, Pierre Baldi
• Abstract要約: ソフトウェアライブラリであるFortran-Keras Bridge(FKB)を導入する。 本稿は、FKBが提供するいくつかのユニークな機能、例えば、カスタマイズ可能なレイヤ、損失関数、ネットワークアンサンブルについて述べる。 本稿は,地球規模の気候シミュレーションに対する実験的アプローチの堅牢性に関するオープンな疑問にFKBを適用したケーススタディで締めくくっている。
• 参考スコア（独自算出の注目度）: 6.768544973019004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implementing artificial neural networks is commonly achieved via high-level programming languages like Python and easy-to-use deep learning libraries like Keras. These software libraries come pre-loaded with a variety of network architectures, provide autodifferentiation, and support GPUs for fast and efficient computation. As a result, a deep learning practitioner will favor training a neural network model in Python, where these tools are readily available. However, many large-scale scientific computation projects are written in Fortran, making it difficult to integrate with modern deep learning methods. To alleviate this problem, we introduce a software library, the Fortran-Keras Bridge (FKB). This two-way bridge connects environments where deep learning resources are plentiful, with those where they are scarce. The paper describes several unique features offered by FKB, such as customizable layers, loss functions, and network ensembles. The paper concludes with a case study that applies FKB to address open questions about the robustness of an experimental approach to global climate simulation, in which subgrid physics are outsourced to deep neural network emulators. In this context, FKB enables a hyperparameter search of one hundred plus candidate models of subgrid cloud and radiation physics, initially implemented in Keras, to be transferred and used in Fortran. Such a process allows the model's emergent behavior to be assessed, i.e. when fit imperfections are coupled to explicit planetary-scale fluid dynamics. The results reveal a previously unrecognized strong relationship between offline validation error and online performance, in which the choice of optimizer proves unexpectedly critical. This reveals many neural network architectures that produce considerable improvements in stability including some with reduced error, for an especially challenging training dataset.
• Abstract（参考訳）: ニューラルネットワークの実装は、pythonのようなハイレベルなプログラミング言語と、kerasのような使いやすいディープラーニングライブラリによって一般的に実現される。 これらのソフトウェアライブラリは、さまざまなネットワークアーキテクチャをプリロードし、自動微分を提供し、高速で効率的な計算のためのGPUをサポートする。 その結果、ディープラーニングの実践者は、これらのツールが簡単に利用できるpythonでニューラルネットワークモデルをトレーニングすることを好む。 しかし、多くの大規模科学計算プロジェクトはFortranで書かれており、現代のディープラーニング手法と統合することは困難である。 この問題を軽減するために,ソフトウェアライブラリであるFortran-Keras Bridge (FKB)を導入する。 この双方向ブリッジは、ディープラーニングリソースが豊富な環境と、不足している環境を結びつける。 本稿は、FKBが提供するいくつかのユニークな機能、例えば、カスタマイズ可能なレイヤ、損失関数、ネットワークアンサンブルについて述べる。 この論文は、FKBを適用したケーススタディで、地球規模の気候シミュレーションに対する実験的なアプローチの堅牢性に関するオープンな疑問に対処し、サブグリッド物理学をディープニューラルネットワークエミュレータにアウトソースする。 この文脈では、fkbは100以上のサブグリッド雲と放射物理学の候補モデルのハイパーパラメータ探索を可能にし、当初はkerasで実装され、fortranで転送および使用される。 このようなプロセスにより、モデルの創発的な振る舞い、すなわち不完全性が惑星スケールの流体力学に結合されたときに評価することができる。 その結果、オフライン検証エラーとオンラインパフォーマンスとの間には、これまで認識されていなかった強い関係があることが判明した。 これは、特に困難なトレーニングデータセットのために、エラーの低減を含む安定性を著しく向上する多くのニューラルネットワークアーキテクチャを明らかにしている。

関連論文リスト

• pyhgf: A neural network library for predictive coding [0.2150989251218736]
  texttpyhgfは、予測コーディングのための動的ネットワークの作成、操作、サンプリングのためのPythonパッケージである。 ネットワークコンポーネントを透過的でモジュール的で、拡張可能な変数としてメッセージパッシングステップに囲み込むことで、他のフレームワークよりも改善します。 コア変数の透明性は、自己組織化の原則を活用する推論プロセスにも変換できる。
  論文  参考訳（メタデータ） (2024-10-11T19:21:38Z)
• NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
  NNsightとNDIFは、非常に大きなニューラルネットワークの科学的研究を可能にするために、タンデムで機能する技術である。 NNsightは、遅延リモート実行を導入するためにPyTorchを拡張したオープンソースのシステムである。 NDIFは、NNsightリクエストを実行するスケーラブルな推論サービスで、GPUリソースと事前トレーニングされたモデルを共有することができる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:01Z)
• RoseNNa: A performant, portable library for neural network inference with application to computational fluid dynamics [0.0]
  本稿では,ニューラルネットワーク推論とCFDのギャップを埋めるRoseNNaライブラリを提案する。 RoseNNaは、ニューラルネットワーク推論のための非侵襲的で軽量(1000行)ツールである。
  論文  参考訳（メタデータ） (2023-07-30T21:11:55Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• cito: An R package for training neural networks using torch [0.0]
  citoは、ディープラーニング(DL)アプリケーションのためのユーザフレンドリーなRパッケージである。 多くのRパッケージで使われている慣れ親しんだ式構文でDNNを指定することができる。 「シトー」には、モデルプロットと分析のための多くのユーザフレンドリーな機能が含まれている。
  論文  参考訳（メタデータ） (2023-03-16T18:54:20Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
  ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。 我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。 以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
  論文  参考訳（メタデータ） (2020-09-01T16:20:11Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。