論文の概要: Zero Coordinate Shift: Whetted Automatic Differentiation for
Physics-informed Operator Learning
- arxiv url: http://arxiv.org/abs/2311.00860v1
- Date: Wed, 1 Nov 2023 21:28:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 15:44:32.212304
- Title: Zero Coordinate Shift: Whetted Automatic Differentiation for
Physics-informed Operator Learning
- Title(参考訳): ゼロコーディネートシフト:物理インフォームド演算子学習のためのWhetted Automatic Differentiation
- Authors: Kuangdai Leng, Mallikarjun Shankar, Jeyan Thiyagalingam
- Abstract要約: 本稿では,物理インフォームド演算子学習のための新しい,軽量な自動微分(AD)アルゴリズムを提案する。
すべてのサンプリングされた座標の葉変数を作る代わりに、ZCSは空間的または時間的次元ごとに1つのスカラー値の葉変数を導入する。
我々は、ZCSがGPUメモリの消費とトレーニングのウォールタイムを桁違いに減らしたことを示す。
- 参考スコア(独自算出の注目度): 1.1510009152620668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic differentiation (AD) is a critical step in physics-informed machine
learning, required for computing the high-order derivatives of network output
w.r.t. coordinates. In this paper, we present a novel and lightweight algorithm
to conduct such AD for physics-informed operator learning, as we call the trick
of Zero Coordinate Shift (ZCS). Instead of making all sampled coordinates leaf
variables, ZCS introduces only one scalar-valued leaf variable for each spatial
or temporal dimension, leading to a game-changing performance leap by
simplifying the wanted derivatives from "many-roots-many-leaves" to
"one-root-many-leaves". ZCS is easy to implement with current deep learning
libraries; our own implementation is by extending the DeepXDE package. We carry
out a comprehensive benchmark analysis and several case studies, training
physics-informed DeepONets to solve partial differential equations (PDEs)
without data. The results show that ZCS has persistently brought down GPU
memory consumption and wall time for training by an order of magnitude, with
the savings increasing with problem scale (i.e., number of functions, number of
points and order of PDE). As a low-level optimisation, ZCS entails no
restrictions on data, physics (PDEs) or network architecture and does not
compromise training results from any aspect.
- Abstract(参考訳): 自動微分(AD)は、ネットワーク出力w.r.t.座標の高次微分を計算するために必要とされる物理情報処理機械学習における重要なステップである。
本稿では,ゼロ座標シフト (zcs) のトリックと呼ばれる,物理に変形した演算子学習のためのadを行うための,新規で軽量なアルゴリズムを提案する。
サンプル化された座標のリーフ変数を全て作らずに、zcsは空間的または時間的次元ごとにスカラー値のリーフ変数を1つだけ導入し、望ましい微分を"many-roots-many-leaves"から"one-root-many-leaves"へと単純化することで、ゲームを変えるパフォーマンスの飛躍をもたらした。
ZCSは現在のディープラーニングライブラリで簡単に実装できますが、私たちの独自の実装はDeepXDEパッケージを拡張することです。
我々は、データなしで偏微分方程式(PDE)を解くために、総合的なベンチマーク分析といくつかのケーススタディを行い、物理情報を用いたDeepONetsを訓練する。
以上の結果から,ZCSはGPUメモリ使用量や壁面時間を桁違いに減らし,問題スケール(PDEの関数数,点数,点数,点数)で節約できることがわかった。
低レベルの最適化として、ZCSはデータ、物理(PDE)、ネットワークアーキテクチャの制限を伴わず、あらゆる面からトレーニング結果を妥協しない。
関連論文リスト
- Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳(メタデータ) (2023-01-30T04:58:40Z) - Few-Bit Backward: Quantized Gradients of Activation Functions for Memory
Footprint Reduction [4.243810214656324]
メモリフットプリントは、大規模なニューラルネットワークトレーニングの主要な制限要因のひとつだ。
本稿では, 点次非線形関数の残留勾配の最適量子化を計算するための体系的手法を提案する。
このような近似は、活性化関数の微分の最適一貫した近似を計算することで実現できることを示す。
論文 参考訳(メタデータ) (2022-02-01T14:51:38Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Efficient time stepping for numerical integration using reinforcement
learning [0.15393457051344295]
機械学習とメタラーニングに基づくデータ駆動型タイムステッピング方式を提案する。
まず、1つまたは複数の基礎学習者(非滑らかまたはハイブリッドシステムの場合)はRLを使用して訓練されます。
次に、メタ学習者は(システムの状態に応じて)現在の状況に最適と思われる基礎学習者を選択する訓練を受ける。
論文 参考訳(メタデータ) (2021-04-08T07:24:54Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳(メタデータ) (2021-02-16T11:45:35Z) - DiffPD: Differentiable Projective Dynamics with Contact [65.88720481593118]
DiffPDは、暗黙の時間積分を持つ効率的な微分可能なソフトボディシミュレータである。
我々はDiffPDの性能を評価し,様々な応用における標準ニュートン法と比較して4~19倍のスピードアップを観測した。
論文 参考訳(メタデータ) (2021-01-15T00:13:33Z) - Overcoming Catastrophic Forgetting via Direction-Constrained
Optimization [43.53836230865248]
連続的な学習フレームワークにおいて,分類ネットワークの固定アーキテクチャを用いてディープラーニングモデルを学習するための最適化アルゴリズムの新たな設計について検討する。
本稿では,方向制約付き最適化(DCO)法について述べる。各タスクに対して,対応する最上向きの主方向を近似する線形オートエンコーダを導入する。
我々のアルゴリズムは、他の最先端の正規化に基づく連続学習法と比較して好適に機能することを示した。
論文 参考訳(メタデータ) (2020-11-25T08:45:21Z) - Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。
このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。
いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文 参考訳(メタデータ) (2020-09-19T17:28:11Z) - Randomized Automatic Differentiation [22.95414996614006]
我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。
RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。
本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
論文 参考訳(メタデータ) (2020-07-20T19:03:44Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳(メタデータ) (2020-07-07T10:05:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。