論文の概要: Zero Coordinate Shift: Whetted Automatic Differentiation for
Physics-informed Operator Learning
- arxiv url: http://arxiv.org/abs/2311.00860v2
- Date: Thu, 23 Nov 2023 19:41:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 02:36:09.331738
- Title: Zero Coordinate Shift: Whetted Automatic Differentiation for
Physics-informed Operator Learning
- Title(参考訳): ゼロコーディネートシフト:物理インフォームド演算子学習のためのWhetted Automatic Differentiation
- Authors: Kuangdai Leng, Mallikarjun Shankar, Jeyan Thiyagalingam
- Abstract要約: 本稿では,物理インフォームド演算子学習のための新しい,軽量な自動微分(AD)アルゴリズムを提案する。
すべてのサンプル座標を葉変数とする代わりに、ZCSは空間的あるいは時間的次元ごとに1つのスカラー値の葉変数を導入する。
これは、関数の次元に沿った計算グラフの重複を避けることで、卓越した性能向上につながった。
- 参考スコア(独自算出の注目度): 1.1510009152620668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic differentiation (AD) is a critical step in physics-informed machine
learning, required for computing the high-order derivatives of network output
w.r.t. coordinates of collocation points. In this paper, we present a novel and
lightweight algorithm to conduct AD for physics-informed operator learning,
which we call the trick of Zero Coordinate Shift (ZCS). Instead of making all
sampled coordinates as leaf variables, ZCS introduces only one scalar-valued
leaf variable for each spatial or temporal dimension, simplifying the wanted
derivatives from "many-roots-many-leaves" to "one-root-many-leaves" whereby
reverse-mode AD becomes directly utilisable. It has led to an outstanding
performance leap by avoiding the duplication of the computational graph along
the dimension of functions (physical parameters). ZCS is easy to implement with
current deep learning libraries; our own implementation is achieved by
extending the DeepXDE package. We carry out a comprehensive benchmark analysis
and several case studies, training physics-informed DeepONets to solve partial
differential equations (PDEs) without data. The results show that ZCS has
persistently reduced GPU memory consumption and wall time for training by an
order of magnitude, and such reduction factor scales with the number of
functions. As a low-level optimisation technique, ZCS imposes no restrictions
on data, physics (PDE) or network architecture and does not compromise training
results from any aspect.
- Abstract(参考訳): 自動微分(AD)は、ネットワーク出力w.r.t.座標の高次微分を計算するために必要となる物理インフォームド機械学習における重要なステップである。
本稿では,ゼロ座標シフト (zcs) のトリックと呼ばれる,物理に変形した演算子学習のためのadを行う新しい軽量アルゴリズムを提案する。
すべてのサンプル座標をリーフ変数にするのではなく、zcsは空間的または時間的次元ごとにスカラー値のリーフ変数を1つだけ導入し、望んでいた微分を"many-roots-many-leaves"から"one-root-many-leaves"へと単純化した。
これは関数の次元(物理パラメータ)に沿って計算グラフの重複を避けることによって、優れた性能の飛躍をもたらした。
ZCSは現在のディープラーニングライブラリで簡単に実装できますが、私たちの独自の実装はDeepXDEパッケージを拡張して実現しています。
我々は、データなしで偏微分方程式(PDE)を解くために、総合的なベンチマーク分析といくつかのケーススタディを行い、物理情報を用いたDeepONetsを訓練する。
以上の結果から,ZCSはGPUメモリ使用量とトレーニングのウォール時間を桁違いに削減し,その削減係数は関数数に比例して拡大した。
低レベルの最適化手法として、ZCSはデータ、物理(PDE)、ネットワークアーキテクチャに制限を課さず、あらゆる面からトレーニング結果を妥協しない。
関連論文リスト
- Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳(メタデータ) (2023-01-30T04:58:40Z) - Few-Bit Backward: Quantized Gradients of Activation Functions for Memory
Footprint Reduction [4.243810214656324]
メモリフットプリントは、大規模なニューラルネットワークトレーニングの主要な制限要因のひとつだ。
本稿では, 点次非線形関数の残留勾配の最適量子化を計算するための体系的手法を提案する。
このような近似は、活性化関数の微分の最適一貫した近似を計算することで実現できることを示す。
論文 参考訳(メタデータ) (2022-02-01T14:51:38Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Efficient time stepping for numerical integration using reinforcement
learning [0.15393457051344295]
機械学習とメタラーニングに基づくデータ駆動型タイムステッピング方式を提案する。
まず、1つまたは複数の基礎学習者(非滑らかまたはハイブリッドシステムの場合)はRLを使用して訓練されます。
次に、メタ学習者は(システムの状態に応じて)現在の状況に最適と思われる基礎学習者を選択する訓練を受ける。
論文 参考訳(メタデータ) (2021-04-08T07:24:54Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳(メタデータ) (2021-02-16T11:45:35Z) - DiffPD: Differentiable Projective Dynamics with Contact [65.88720481593118]
DiffPDは、暗黙の時間積分を持つ効率的な微分可能なソフトボディシミュレータである。
我々はDiffPDの性能を評価し,様々な応用における標準ニュートン法と比較して4~19倍のスピードアップを観測した。
論文 参考訳(メタデータ) (2021-01-15T00:13:33Z) - Overcoming Catastrophic Forgetting via Direction-Constrained
Optimization [43.53836230865248]
連続的な学習フレームワークにおいて,分類ネットワークの固定アーキテクチャを用いてディープラーニングモデルを学習するための最適化アルゴリズムの新たな設計について検討する。
本稿では,方向制約付き最適化(DCO)法について述べる。各タスクに対して,対応する最上向きの主方向を近似する線形オートエンコーダを導入する。
我々のアルゴリズムは、他の最先端の正規化に基づく連続学習法と比較して好適に機能することを示した。
論文 参考訳(メタデータ) (2020-11-25T08:45:21Z) - Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。
このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。
いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文 参考訳(メタデータ) (2020-09-19T17:28:11Z) - Randomized Automatic Differentiation [22.95414996614006]
我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。
RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。
本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
論文 参考訳(メタデータ) (2020-07-20T19:03:44Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳(メタデータ) (2020-07-07T10:05:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。