論文の概要: Half-Inverse Gradients for Physical Deep Learning

• arxiv url: http://arxiv.org/abs/2203.10131v1
• Date: Fri, 18 Mar 2022 19:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 18:47:33.530871
• Title: Half-Inverse Gradients for Physical Deep Learning
• Title（参考訳）: 物理深層学習のための半逆勾配
• Authors: Patrick Schnell, Philipp Holl, Nils Thuerey
• Abstract要約: 異なる物理シミュレータをトレーニングプロセスに統合することは、結果の質を大幅に向上させる。 勾配に基づく解法は、多くの物理過程の固有の性質であるスケールと方向を操作できるため、勾配流に深い影響を与える。 本研究では,この現象に苦しむことのない新しい手法を導出するために,物理・ニューラルネットワーク最適化の特性を解析する。
• 参考スコア（独自算出の注目度）: 25.013244956897832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works in deep learning have shown that integrating differentiable physics simulators into the training process can greatly improve the quality of results. Although this combination represents a more complex optimization task than supervised neural network training, the same gradient-based optimizers are typically employed to minimize the loss function. However, the integrated physics solvers have a profound effect on the gradient flow as manipulating scales in magnitude and direction is an inherent property of many physical processes. Consequently, the gradient flow is often highly unbalanced and creates an environment in which existing gradient-based optimizers perform poorly. In this work, we analyze the characteristics of both physical and neural network optimizations to derive a new method that does not suffer from this phenomenon. Our method is based on a half-inversion of the Jacobian and combines principles of both classical network and physics optimizers to solve the combined optimization task. Compared to state-of-the-art neural network optimizers, our method converges more quickly and yields better solutions, which we demonstrate on three complex learning problems involving nonlinear oscillators, the Schroedinger equation and the Poisson problem.
• Abstract（参考訳）: 深層学習における最近の研究は、異なる物理シミュレータをトレーニングプロセスに統合することで、結果の質が大幅に向上することを示した。 この組み合わせは、教師付きニューラルネットワークトレーニングよりも複雑な最適化タスクを表しているが、通常、損失関数を最小限にするために同じ勾配ベースのオプティマイザが使用される。 しかし,統合物理ソルバは,スケールの大きさや方向の操作が多くの物理過程に固有の性質であるため,勾配流に大きな影響を与える。 その結果、勾配流はしばしば高度に不均衡であり、既存の勾配に基づく最適化が不十分な環境を生み出す。 本研究では,物理およびニューラルネットワークの最適化特性を分析し,この現象に支障を来さない新しい手法を導出する。 本手法はヤコビアンの半帰納法を基礎とし,古典ネットワークと物理最適化器の原理を組み合わせることで最適化課題を解決する。 現状のニューラルネットワークオプティマイザと比較して,本手法はより高速に収束し,非線形発振器,シュレーディンガー方程式,ポアソン問題を含む3つの複雑な学習問題に対してより良い解が得られる。

関連論文リスト

• Sparks of Quantum Advantage and Rapid Retraining in Machine Learning [0.0]
  本研究では、最小パラメータで複雑な関数を表現するために、強力なニューラルネットワークアーキテクチャを最適化する。 高速再トレーニング機能を導入し、古いサンプルを再処理することなく、ネットワークを新しいデータで再トレーニングできるようにする。 量子ハードウェアとアルゴリズム最適化のさらなる進歩により、量子最適化機械学習モデルが幅広い応用をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-22T19:55:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Physics Informed Piecewise Linear Neural Networks for Process Optimization [0.0]
  ニューラルネットワークモデルに埋め込まれた最適化問題に対して,物理情報を用いた線形ニューラルネットワークモデルの更新が提案されている。 すべてのケースにおいて、物理インフォームドトレーニングニューラルネットワークに基づく最適結果は、大域的最適性に近い。
  論文  参考訳（メタデータ） (2023-02-02T10:14:54Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Physical Gradients for Deep Learning [101.36788327318669]
  最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。 本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-30T12:14:31Z)
• Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
  本稿では, 音素の効率的な微分可能シミュレーション法を提案する。 これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。 提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T04:48:13Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。