論文の概要: Physical Gradients for Deep Learning

• arxiv url: http://arxiv.org/abs/2109.15048v2
• Date: Fri, 1 Oct 2021 14:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 11:22:44.405982
• Title: Physical Gradients for Deep Learning
• Title（参考訳）: 深層学習のための物理勾配
• Authors: Philipp Holl, Vladlen Koltun, Nils Thuerey
• Abstract要約: 最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。 本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 101.36788327318669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Solving inverse problems, such as parameter estimation and optimal control, is a vital part of science. Many experiments repeatedly collect data and employ machine learning algorithms to quickly infer solutions to the associated inverse problems. We find that state-of-the-art training techniques are not well-suited to many problems that involve physical processes since the magnitude and direction of the gradients can vary strongly. We propose a novel hybrid training approach that combines higher-order optimization methods with machine learning techniques. We replace the gradient of the physical process by a new construct, referred to as the physical gradient. This also allows us to introduce domain knowledge into training by incorporating priors about the solution space into the gradients. We demonstrate the capabilities of our method on a variety of canonical physical systems, showing that physical gradients yield significant improvements on a wide range of optimization and learning problems.
• Abstract（参考訳）: パラメータ推定や最適制御といった逆問題を解くことは科学の重要な部分である。 多くの実験は繰り返しデータを収集し、機械学習アルゴリズムを用いて関連する逆問題に対する解を素早く推論する。 グラデーションの大きさや方向が強く変化するため、最先端のトレーニング技術は物理プロセスに関わる多くの問題に適していないことが判明した。 本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。 我々は、物理過程の勾配を、物理勾配と呼ばれる新しい構造に置き換える。 これにより、ソリューション空間に関する事前知識を勾配に組み込むことで、トレーニングにドメイン知識を導入することもできます。 本手法は,様々な物理系において有効であることを実証し,様々な最適化や学習問題に対して,物理的勾配が大幅な改善をもたらすことを示した。

関連論文リスト

• PETScML: Second-order solvers for training regression problems in Scientific Machine Learning [0.22499166814992438]
  近年、分析のためのデータ駆動ツールとして、科学機械学習の出現を目撃している。 我々は、ディープラーニングソフトウェアと従来の機械学習技術とのギャップを埋めるために、Portable and Extensible Toolkit for Scientific計算上に構築されたソフトウェアを紹介します。
  論文  参考訳（メタデータ） (2024-03-18T18:59:42Z)
• A Gentle Introduction to Gradient-Based Optimization and Variational Inequalities for Machine Learning [46.98201017084005]
  機械学習における勾配に基づくアルゴリズムのフレームワークを提供する。 まず、サドル点と単調ゲームから始め、一般的な変分不等式へと進む。 いくつかのアルゴリズムに収束証明を提供していますが、主な焦点はモチベーションと直感を提供することです。
  論文  参考訳（メタデータ） (2023-09-09T21:36:51Z)
• Half-Inverse Gradients for Physical Deep Learning [25.013244956897832]
  異なる物理シミュレータをトレーニングプロセスに統合することは、結果の質を大幅に向上させる。 勾配に基づく解法は、多くの物理過程の固有の性質であるスケールと方向を操作できるため、勾配流に深い影響を与える。 本研究では,この現象に苦しむことのない新しい手法を導出するために,物理・ニューラルネットワーク最適化の特性を解析する。
  論文  参考訳（メタデータ） (2022-03-18T19:11:04Z)
• Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
  本稿では, 音素の効率的な微分可能シミュレーション法を提案する。 これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。 提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T04:48:13Z)
• Adaptive Learning Rate and Momentum for Training Deep Neural Networks [0.0]
  本研究では,非線形共役勾配(CG)フレームワークによる高速トレーニング手法を開発した。 画像分類データセットの実験により,本手法は他の局所解法よりも高速な収束が得られることが示された。
  論文  参考訳（メタデータ） (2021-06-22T05:06:56Z)
• PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics [89.81550748680245]
  PasticineLabと呼ばれる新しい微分可能な物理ベンチマークを導入する。 各タスクにおいて、エージェントはマニピュレータを使用して、プラスチックを所望の構成に変形させる。 本稿では,既存の強化学習(RL)手法と勾配に基づく手法について評価する。
  論文  参考訳（メタデータ） (2021-04-07T17:59:23Z)
• Scalable Differentiable Physics for Learning and Control [99.4302215142673]
  微分物理学は、物理的対象や環境を含む問題を学習し、制御するための強力なアプローチである。 我々は、多数のオブジェクトとその相互作用をサポートすることができる微分可能物理学のためのスケーラブルなフレームワークを開発する。
  論文  参考訳（メタデータ） (2020-07-04T19:07:51Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。