Fugu-MT 論文翻訳(概要): Efficient, Accurate and Stable Gradients for Neural ODEs

論文の概要: Efficient, Accurate and Stable Gradients for Neural ODEs

arxiv url: http://arxiv.org/abs/2410.11648v2
Date: Wed, 29 Jan 2025 11:59:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-30 15:52:21.938751
Title: Efficient, Accurate and Stable Gradients for Neural ODEs
Title（参考訳）: ニューラルネットワークの効率, 精度, 安定性
Authors: Sam McCallum, James Foster,
Abstract要約: 本稿では,ニューラルなODEを学習するための可逆的ODEソルバのクラスを紹介する。可逆解器は正確な勾配を計算し、高次で数値的に安定である。
参考スコア（独自算出の注目度）: 3.79830302036482
License:
Abstract: Training Neural ODEs requires backpropagating through an ODE solve. The state-of-the-art backpropagation method is recursive checkpointing that balances recomputation with memory cost. Here, we introduce a class of algebraically reversible ODE solvers that significantly improve upon both the time and memory cost of recursive checkpointing. The reversible solvers presented calculate exact gradients, are high-order and numerically stable -- strictly improving on previous reversible architectures.
Abstract（参考訳）: ニューラルネットワークのトレーニングには、ODEソルバをバックプロパゲートする必要がある。最先端のバックプロパゲーション手法は再帰的なチェックポイントであり、再計算とメモリコストのバランスをとる。本稿では,再帰的チェックポインティングの時間とメモリコストを大幅に改善する,代数的可逆なODEソルバのクラスを紹介する。提示された可逆的解法は正確な勾配を計算し、高次かつ数値的に安定であり、以前の可逆的アーキテクチャを厳格に改善している。

関連論文リスト

Accelerated Training through Iterative Gradient Propagation Along the Residual Path [46.577761606415805]
ハイウェイバックプロパゲーションは、バックプロパゲーションを近似する並列化可能な反復アルゴリズムである。 ResNetやTransformerから、リカレントニューラルネットワークまで、さまざまな共通アーキテクチャセットに適応可能である。
論文参考訳（メタデータ） (2025-01-28T17:14:42Z)
Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability [76.6724135757723]
GANインバージョンは、事前訓練されたGANの潜在空間に入力イメージを反転させることを目的としている。 GANの逆転の最近の進歩にもかかわらず、歪みと編集性の間のトレードオフを軽減するための課題は残されている。本稿では、まず入力画像をピボットコードと呼ばれる潜在コードに反転させ、次に、入力画像を正確にピボットコードにマッピングできるようにジェネレータを変更する2段階のアプローチを提案する。
論文参考訳（メタデータ） (2022-07-19T16:10:16Z)
Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs [16.516974867571175]
本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。近似的暗黙解法は、数値安定性と計算効率において明示的解法よりも優れていることを保証している。
論文参考訳（メタデータ） (2022-04-19T02:55:10Z)
Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文参考訳（メタデータ） (2022-04-18T17:53:44Z)
Learned Cone-Beam CT Reconstruction Using Neural Ordinary Differential Equations [8.621792868567018]
逆問題に対する反復的再構成アルゴリズムは、問題に関する解析的知識とデータから学んだモジュールを組み合わせる柔軟性を提供する。計算トモグラフィでは,2次元ファンビームから3次元コーンビームデータへのアプローチの延長が困難である。本稿では, 数値積分による残差定式化における再構成問題の解法として, ニューラル常微分方程式を用いることを提案する。
論文参考訳（メタデータ） (2022-01-19T12:32:38Z)
Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2021-03-15T17:26:34Z)
Gradient-augmented Supervised Learning of Optimal Feedback Laws Using State-dependent Riccati Equations [0.0]
状態依存型Riccati方程式から生成されたデータセットから安定化フィードバック法則を訓練する。高次元非線形安定化試験は、リアルタイムの連続的大規模アルヘブラニックリカティ方程式解を適切に訓練されたフィードフォワードニューラルネットワークで置き換えることができることを実証する。
論文参考訳（メタデータ） (2021-03-06T10:34:23Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
論文参考訳（メタデータ） (2020-11-05T14:57:16Z)
ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
論文参考訳（メタデータ） (2020-07-30T11:24:05Z)
Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
論文参考訳（メタデータ） (2020-07-25T00:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。