論文の概要: Zero Coordinate Shift: Whetted Automatic Differentiation for Physics-informed Operator Learning

• arxiv url: http://arxiv.org/abs/2311.00860v1
• Date: Wed, 1 Nov 2023 21:28:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 15:44:32.212304
• Title: Zero Coordinate Shift: Whetted Automatic Differentiation for Physics-informed Operator Learning
• Title（参考訳）: ゼロコーディネートシフト:物理インフォームド演算子学習のためのWhetted Automatic Differentiation
• Authors: Kuangdai Leng, Mallikarjun Shankar, Jeyan Thiyagalingam
• Abstract要約: 本稿では,物理インフォームド演算子学習のための新しい,軽量な自動微分(AD)アルゴリズムを提案する。 すべてのサンプリングされた座標の葉変数を作る代わりに、ZCSは空間的または時間的次元ごとに1つのスカラー値の葉変数を導入する。 我々は、ZCSがGPUメモリの消費とトレーニングのウォールタイムを桁違いに減らしたことを示す。
• 参考スコア（独自算出の注目度）: 1.1510009152620668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic differentiation (AD) is a critical step in physics-informed machine learning, required for computing the high-order derivatives of network output w.r.t. coordinates. In this paper, we present a novel and lightweight algorithm to conduct such AD for physics-informed operator learning, as we call the trick of Zero Coordinate Shift (ZCS). Instead of making all sampled coordinates leaf variables, ZCS introduces only one scalar-valued leaf variable for each spatial or temporal dimension, leading to a game-changing performance leap by simplifying the wanted derivatives from "many-roots-many-leaves" to "one-root-many-leaves". ZCS is easy to implement with current deep learning libraries; our own implementation is by extending the DeepXDE package. We carry out a comprehensive benchmark analysis and several case studies, training physics-informed DeepONets to solve partial differential equations (PDEs) without data. The results show that ZCS has persistently brought down GPU memory consumption and wall time for training by an order of magnitude, with the savings increasing with problem scale (i.e., number of functions, number of points and order of PDE). As a low-level optimisation, ZCS entails no restrictions on data, physics (PDEs) or network architecture and does not compromise training results from any aspect.
• Abstract（参考訳）: 自動微分(AD)は、ネットワーク出力w.r.t.座標の高次微分を計算するために必要とされる物理情報処理機械学習における重要なステップである。 本稿では,ゼロ座標シフト (zcs) のトリックと呼ばれる,物理に変形した演算子学習のためのadを行うための,新規で軽量なアルゴリズムを提案する。 サンプル化された座標のリーフ変数を全て作らずに、zcsは空間的または時間的次元ごとにスカラー値のリーフ変数を1つだけ導入し、望ましい微分を"many-roots-many-leaves"から"one-root-many-leaves"へと単純化することで、ゲームを変えるパフォーマンスの飛躍をもたらした。 ZCSは現在のディープラーニングライブラリで簡単に実装できますが、私たちの独自の実装はDeepXDEパッケージを拡張することです。 我々は、データなしで偏微分方程式(PDE)を解くために、総合的なベンチマーク分析といくつかのケーススタディを行い、物理情報を用いたDeepONetsを訓練する。 以上の結果から,ZCSはGPUメモリ使用量や壁面時間を桁違いに減らし,問題スケール(PDEの関数数,点数,点数,点数)で節約できることがわかった。 低レベルの最適化として、ZCSはデータ、物理(PDE)、ネットワークアーキテクチャの制限を伴わず、あらゆる面からトレーニング結果を妥協しない。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Separable Operator Networks [4.688862638563124]
  演算子学習は、偏微分方程式(PDE)によって支配される複雑な物理系をモデル化するための機械学習の強力なツールとなった 本稿では,物理インフォームド演算子の学習効率を大幅に向上させる新しいフレームワークであるSepONetを紹介した。 SepONetは独立したトランクネットワークを使用して、異なる座標軸の基底関数を個別に学習する。
  論文  参考訳（メタデータ） (2024-07-15T21:43:41Z)
• Transolver: A Fast Transformer Solver for PDEs on General Geometries [66.82060415622871]
  本稿では, 離散化された測地の背後に隠れた本質的な物理状態を学習するTransolverについて述べる。 スライスから符号化された物理認識トークンに注意を向けることで、Transovlerは複雑な物理的相関を効果的に捉えることができる。 Transolverは6つの標準ベンチマークで22%の相対的な利得で一貫した最先端を実現し、大規模産業シミュレーションでも優れている。
  論文  参考訳（メタデータ） (2024-02-04T06:37:38Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Efficient time stepping for numerical integration using reinforcement learning [0.15393457051344295]
  機械学習とメタラーニングに基づくデータ駆動型タイムステッピング方式を提案する。 まず、1つまたは複数の基礎学習者(非滑らかまたはハイブリッドシステムの場合)はRLを使用して訓練されます。 次に、メタ学習者は(システムの状態に応じて)現在の状況に最適と思われる基礎学習者を選択する訓練を受ける。
  論文  参考訳（メタデータ） (2021-04-08T07:24:54Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Overcoming Catastrophic Forgetting via Direction-Constrained Optimization [43.53836230865248]
  連続的な学習フレームワークにおいて,分類ネットワークの固定アーキテクチャを用いてディープラーニングモデルを学習するための最適化アルゴリズムの新たな設計について検討する。 本稿では,方向制約付き最適化(DCO)法について述べる。各タスクに対して,対応する最上向きの主方向を近似する線形オートエンコーダを導入する。 我々のアルゴリズムは、他の最先端の正規化に基づく連続学習法と比較して好適に機能することを示した。
  論文  参考訳（メタデータ） (2020-11-25T08:45:21Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。