論文の概要: Stabilizing Backpropagation Through Time to Learn Complex Physics
- arxiv url: http://arxiv.org/abs/2405.02041v1
- Date: Fri, 3 May 2024 12:20:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 13:05:54.607125
- Title: Stabilizing Backpropagation Through Time to Learn Complex Physics
- Title（参考訳）: 複雑な物理を学ぶための時間によるバックプロパゲーションの安定化
- Authors: Patrick Schnell, Nils Thuerey,
- Abstract要約: 物理シミュレーションにおいて、バックプロパゲーションフィードバックは時間的コヒーレントな振る舞いを取得するために重要である。
物理シミュレータはバランスの取れた勾配の流れを持ち、バックプロパゲーションパスの特定の変更は元のミニマの位置を変化させる。
最終手順は、一連の勾配停止と成分比較演算により容易に実装できる。
- 参考スコア（独自算出の注目度）: 21.850601375335074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Of all the vector fields surrounding the minima of recurrent learning setups, the gradient field with its exploding and vanishing updates appears a poor choice for optimization, offering little beyond efficient computability. We seek to improve this suboptimal practice in the context of physics simulations, where backpropagating feedback through many unrolled time steps is considered crucial to acquiring temporally coherent behavior. The alternative vector field we propose follows from two principles: physics simulators, unlike neural networks, have a balanced gradient flow, and certain modifications to the backpropagation pass leave the positions of the original minima unchanged. As any modification of backpropagation decouples forward and backward pass, the rotation-free character of the gradient field is lost. Therefore, we discuss the negative implications of using such a rotational vector field for optimization and how to counteract them. Our final procedure is easily implementable via a sequence of gradient stopping and component-wise comparison operations, which do not negatively affect scalability. Our experiments on three control problems show that especially as we increase the complexity of each task, the unbalanced updates from the gradient can no longer provide the precise control signals necessary while our method still solves the tasks. Our code can be found at https://github.com/tum-pbs/StableBPTT.
- Abstract（参考訳）: 繰り返し発生する学習設定のミニマムを取り巻くベクトル場のうち、その爆発的かつ消滅する更新を伴う勾配場は、最適化には不十分な選択であり、効率的な計算可能性以上のものを提供していない。
物理シミュレーションの文脈では、時間的コヒーレントな振る舞いを得るためには、多くの未学習の時間ステップを通じてフィードバックをバックプロパゲートすることが不可欠であると考えられる。
ニューラルネットワークとは異なり、物理シミュレータはバランスの取れた勾配の流れを持ち、バックプロパゲーションパスの特定の変更は元のミニマの位置を変えない。
バックプロパゲーションの変形が前方および後方通過するので、勾配場の回転自由特性は失われる。
そこで本研究では,そのような回転ベクトル場を最適化に用いた場合の負の意味と,それに対応する方法について議論する。
我々の最終手順は、拡張性に悪影響を及ぼさない一連の勾配停止とコンポーネントワイズ比較演算により容易に実装できる。
3つの制御問題に対する実験により、特に各タスクの複雑さが増大するにつれて、勾配からのアンバランスな更新は必要な正確な制御信号を提供できなくなり、なおもタスクを解くことができることがわかった。
私たちのコードはhttps://github.com/tum-pbs/StableBPTTで参照できます。
関連論文リスト
- ConFIG: Towards Conflict-free Training of Physics Informed Neural Networks [25.333488397742432]
本稿では,物理インフォームドニューラルネットワーク(PINN)タスクの学習を改善するためのConFIG法を提案する。
最終更新と各損失固有の勾配の間の正のドット積を保証することで、コンフリクトフリーな更新を提供する。
また、全ての損失項に対する一貫した最適化率を維持し、競合レベルに基づいて勾配の等級を動的に調整する。
論文 参考訳（メタデータ） (2024-08-20T18:00:20Z) - Neural Gradient Learning and Optimization for Oriented Point Normal
Estimation [53.611206368815125]
本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。
局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。
本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
論文 参考訳（メタデータ） (2023-09-17T08:35:11Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-10-07T03:52:27Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳（メタデータ） (2022-07-08T18:17:06Z) - Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。
我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。
我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
論文 参考訳（メタデータ） (2022-05-03T09:23:07Z) - Tom: Leveraging trend of the observed gradients for faster convergence [0.0]
TomはAdamの新しい変種であり、ニューラルネットワークによって渡される損失の風景の勾配の傾向を考慮に入れている。
Tomは両方の精度でAdagrad、Adadelta、RMSProp、Adamを上回り、より早く収束する。
論文 参考訳（メタデータ） (2021-09-07T20:19:40Z) - Deep Feedback Inverse Problem Solver [141.26041463617963]
逆問題に対する効率的で効果的で汎用的なアプローチを提案する。
我々は、フォワードプロセスが提供するフィードバック信号を活用し、反復的な更新モデルを学ぶ。
私たちのアプローチは前もってのプロセスに制限がなく、事前の知識も必要ありません。
論文 参考訳（メタデータ） (2021-01-19T16:49:06Z) - Cost Function Unrolling in Unsupervised Optical Flow [6.656273171776146]
この研究は、教師なしコスト関数でよく使われるトータル変分半ノルムの導出に焦点を当てている。
我々は、コストアンロールと呼ばれる新しい反復スキームにおいて、ハードL1スムーズネス制約に対する微分可能なプロキシを導出する。
論文 参考訳（メタデータ） (2020-11-30T14:10:03Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z) - Neural Non-Rigid Tracking [26.41847163649205]
我々は、新しい、エンドツーエンドの学習可能、差別化可能な非剛性トラッカーを導入する。
我々は畳み込みニューラルネットワークを用いて、密度の高い通信とその信頼性を予測する。
現状の手法と比較して,提案アルゴリズムは再構築性能の向上を示す。
論文 参考訳（メタデータ） (2020-06-23T18:00:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。