Fugu-MT 論文翻訳(概要): The structure of conservative gradient fields

論文の概要: The structure of conservative gradient fields

arxiv url: http://arxiv.org/abs/2101.00699v1
Date: Sun, 3 Jan 2021 20:30:29 GMT
ステータス: 処理完了
システム内更新日: 2021-04-12 13:51:29.456953
Title: The structure of conservative gradient fields
Title（参考訳）: 保守的勾配場の構造
Authors: Adrian Lewis and Tonghua Tian
Abstract要約: すべての保守体は、実際はクラーク部分微分とウィットニー成層における多様体の正規化であることを示す。 1つの応用は勾配に基づくディープラーニングアルゴリズムの収束解析である。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The classical Clarke subdifferential alone is inadequate for understanding automatic differentiation in nonsmooth contexts. Instead, we can sometimes rely on enlarged generalized gradients called "conservative fields", defined through the natural path-wise chain rule: one application is the convergence analysis of gradient-based deep learning algorithms. In the semi-algebraic case, we show that all conservative fields are in fact just Clarke subdifferentials plus normals of manifolds in underlying Whitney stratifications.
Abstract（参考訳）: 古典クラーク部分微分だけでは、非滑らかな文脈における自動微分を理解するには不十分である。代わりに、「保守的場」と呼ばれる拡大された一般化された勾配に頼り、自然経路の連鎖則によって定義される: 1つの応用は勾配に基づくディープラーニングアルゴリズムの収束解析である。半代数的な場合、すべての保守体は実際はクラーク部分微分とウィットニー層における多様体の正規化であることを示す。

関連論文リスト

Adaptive proximal gradient methods are universal without approximation [3.972098060592836]
凸問題に対する適応的近位勾配法は従来のリプシッツ的仮定に限らないことを示す。解析の結果,直線探索を含まない手法のクラスは,ただの局所H'older勾配連続性の下でまだ収束していることが明らかとなった。
論文参考訳（メタデータ） (2024-02-09T09:37:28Z)
Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文参考訳（メタデータ） (2023-11-04T11:12:24Z)
Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文参考訳（メタデータ） (2023-06-29T01:20:44Z)
Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文参考訳（メタデータ） (2023-06-02T04:21:59Z)
A Complete Hierarchy of Linear Systems for Certifying Quantum Entanglement of Subspaces [7.656272344163667]
純量子状態の与えられた部分空間が絡み合っていることを示す線形システムの階層構造を導入する。この階層は、既知のメソッドを1段目で上回る。これは、より高次シュミット階数の場合と、完全かつ真に絡み合った部分空間の多重部分集合の場合とを簡単に一般化する。
論文参考訳（メタデータ） (2022-10-28T20:06:02Z)
Cyclic Coordinate Dual Averaging with Extrapolation [22.234715500748074]
単調作用素を用いた変分不等式(VI)問題の一般クラスに適用可能な新しいブロック座標法を提案する。得られた収束境界は、全勾配法の最適収束境界と一致する。座標ブロックが$m$の場合、我々の境界における勾配リプシッツ定数は、従来のユークリッドのリプシッツ定数と比較して$sqrtm$よりも大きくなることはない。
論文参考訳（メタデータ） (2021-02-26T00:28:58Z)
Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文参考訳（メタデータ） (2020-06-27T19:08:12Z)
Neural Ordinary Differential Equations on Manifolds [0.342658286826597]
近年、ニューラルODEに基づくユークリッド空間の正規化フローは大きな可能性を秘めているが、同じ制限を被っている。ベクトル場がこれらの空間上の可逆写像の柔軟なクラスをパラメータ化するための一般的なフレームワークを提供する方法を示す。
論文参考訳（メタデータ） (2020-06-11T17:56:34Z)
Quantum Geometric Confinement and Dynamical Transmission in Grushin Cylinder [68.8204255655161]
無限円筒上で最小に定義されたラプラス・ベルトラミ作用素の自己随伴実現を分類する。我々は、最近文献で確認された、最も精細で最も透過性の高い拡張を検索する。
論文参考訳（メタデータ） (2020-03-16T11:37:23Z)
Differentiating through the Fr\'echet Mean [51.32291896926807]
フレット平均(Fr'echet mean)はユークリッド平均の一般化である。任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
論文参考訳（メタデータ） (2020-02-29T19:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。