論文の概要: Path differentiability of ODE flows
- arxiv url: http://arxiv.org/abs/2201.03819v1
- Date: Tue, 11 Jan 2022 07:56:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-12 15:07:20.218121
- Title: Path differentiability of ODE flows
- Title(参考訳): ODEフローの経路微分可能性
- Authors: Swann Marx (LS2N), Edouard Pauwels (IRIT)
- Abstract要約: 経路微分可能ベクトル場によって駆動される常微分方程式の流れを考察する。
我々の主な結果は、そのような流れが駆動ベクトル場の経路微分可能性特性を継承していることを示している。
感度差分包有物によって与えられる導関数の前方伝播が流れに保守的ジャコビアンを与えることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider flows of ordinary differential equations (ODEs) driven by path
differentiable vector fields. Path differentiable functions constitute a proper
subclass of Lipschitz functions which admit conservative gradients, a notion of
generalized derivative compatible with basic calculus rules. Our main result
states that such flows inherit the path differentiability property of the
driving vector field. We show indeed that forward propagation of derivatives
given by the sensitivity differential inclusions provide a conservative
Jacobian for the flow. This allows to propose a nonsmooth version of the
adjoint method, which can be applied to integral costs under an ODE constraint.
This result constitutes a theoretical ground to the application of small step
first order methods to solve a broad class of nonsmooth optimization problems
with parametrized ODE constraints. This is illustrated with the convergence of
small step first order methods based on the proposed nonsmooth adjoint.
- Abstract(参考訳): 経路微分ベクトル場によって駆動される常微分方程式(ODE)の流れを考える。
経路微分可能関数は、基本計算規則と相反する一般化微分の概念である保守勾配を受け入れるリプシッツ函数の固有部分類を構成する。
我々の主な結果は、そのような流れが駆動ベクトル場の経路微分可能性特性を継承することを示している。
感度差分包有物によって与えられる導関数の前方伝播が流れに保守的ジャコビアンを与えることを示す。
これにより、ODE制約の下で積分コストに適用可能な非滑らかなアジョイント法を提案することができる。
この結果は、パラメトリズドODE制約を用いた多種多様な非滑らかな最適化問題を解くための小さなステップ一階法の適用の理論的根拠となっている。
これは、提案する非スムース随伴に基づく小さなステップ一階法を収束させることで示される。
関連論文リスト
- Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。
我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。
我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
論文 参考訳(メタデータ) (2024-03-06T22:24:05Z) - Revisiting Implicit Differentiation for Learning Problems in Optimal
Control [31.622109513774635]
本稿では,非離散的制約付き離散最適制御(COC)問題から生じる最適軌道を微分する新しい手法を提案する。
軌道導関数は時間ステップ数で線形にスケールし,モデルサイズで拡張性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-10-23T00:51:24Z) - On the Identification and Optimization of Nonsmooth Superposition
Operators in Semilinear Elliptic PDEs [3.045851438458641]
原型半線形楕円偏微分方程式(PDE)の非線形部分におけるネミトスキー作用素の同定を目的とした無限次元最適化問題について検討する。
以前の研究とは対照的に、ネミトスキー作用素を誘導する関数が a-priori であることは、$H leakyloc(mathbbR)$ の要素であることが知られている。
論文 参考訳(メタデータ) (2023-06-08T13:33:20Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳(メタデータ) (2023-02-07T10:51:53Z) - GANs as Gradient Flows that Converge [3.8707695363745223]
分布依存常微分方程式によって誘導される勾配流に沿って、未知のデータ分布が長時間の極限として現れることを示す。
ODEのシミュレーションは、生成ネットワーク(GAN)のトレーニングと等価である。
この等価性は、GANの新たな「協力的」見解を提供し、さらに重要なのは、GANの多様化に新たな光を放つことである。
論文 参考訳(メタデータ) (2022-05-05T20:29:13Z) - Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution
Differential Equations [83.3201889218775]
広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。
しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。
いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
論文 参考訳(メタデータ) (2021-12-27T18:31:34Z) - Deep Learning Approximation of Diffeomorphisms via Linear-Control
Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。
対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文 参考訳(メタデータ) (2021-10-24T08:57:46Z) - Nonsmooth Implicit Differentiation for Machine Learning and Optimization [0.0]
ますます複雑化する学習アーキテクチャの訓練の観点から、演算計算を用いた非滑らかな暗黙関数定理を確立する。
この結果は、古典的可逆条件の非滑らかな形式が満たされることを前提として、最も実践的な問題(すなわち、定義可能な問題)に適用できる。
例えば、クラーク・ヤコビアンによる微分式を通常の微分公式で置き換えることは完全に正当化される。
論文 参考訳(メタデータ) (2021-06-08T13:59:47Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Conditional gradient methods for stochastically constrained convex
minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。
私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。
提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文 参考訳(メタデータ) (2020-07-07T21:26:35Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。