論文の概要: Generalized Optimization: A First Step Towards Category Theoretic Learning Theory

• arxiv url: http://arxiv.org/abs/2109.10262v1
• Date: Mon, 20 Sep 2021 15:19:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 05:36:10.915781
• Title: Generalized Optimization: A First Step Towards Category Theoretic Learning Theory
• Title（参考訳）: 一般化最適化:カテゴリー論的学習理論への第一歩
• Authors: Dan Shiebler
• Abstract要約: 我々は、勾配勾配勾配の直接一般化やニュートン法の新しい一般化など、いくつかの最適化アルゴリズムを一般化する。 これらのアルゴリズムの変換不変性が保存されていることを示す。 また,内積様表現を用いて一般化降下の損失の変化を表現できることも示している。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Cartesian reverse derivative is a categorical generalization of reverse-mode automatic differentiation. We use this operator to generalize several optimization algorithms, including a straightforward generalization of gradient descent and a novel generalization of Newton's method. We then explore which properties of these algorithms are preserved in this generalized setting. First, we show that the transformation invariances of these algorithms are preserved: while generalized Newton's method is invariant to all invertible linear transformations, generalized gradient descent is invariant only to orthogonal linear transformations. Next, we show that we can express the change in loss of generalized gradient descent with an inner product-like expression, thereby generalizing the non-increasing and convergence properties of the gradient descent optimization flow. Finally, we include several numerical experiments to illustrate the ideas in the paper and demonstrate how we can use them to optimize polynomial functions over an ordered ring.
• Abstract（参考訳）: カルテシアン逆微分(英: Cartesian reverse derivative)は、逆モード自動微分の分類的一般化である。 この演算子を用いて、勾配降下の単純一般化やニュートン法の新しい一般化など、いくつかの最適化アルゴリズムを一般化する。 次に、この一般化された設定において、これらのアルゴリズムのどの特性が保存されているかを調べる。 一般化ニュートン法はすべての可逆線型変換に対して不変であるが、一般化勾配降下は直交線型変換に対してのみ不変である。 次に,内積的表現を用いて一般化された勾配勾配の損失の変化を表現し,勾配勾配最適化流の非増加・収束特性を一般化することを示した。 最後に,本論文のアイデアを説明するためにいくつかの数値実験を行い,順序付き環上の多項式関数を最適化する方法を示す。

関連論文リスト

• Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
  ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。 ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。 有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
  論文  参考訳（メタデータ） (2024-05-23T16:45:52Z)
• Series of Hessian-Vector Products for Tractable Saddle-Free Newton Optimisation of Neural Networks [1.3654846342364308]
  絶対値固有値を持つ正逆 Hessian を,一階乗算可能な最適化アルゴリズムで効率的に利用できることを示す。 この級数のt-runは、他の1階と2階の最適化手法に匹敵する新しい最適化を提供する。
  論文  参考訳（メタデータ） (2023-10-23T13:11:30Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Non asymptotic analysis of Adaptive stochastic gradient algorithms and applications [0.0]
  本論文は, 強凸対象に対する適応勾配アルゴリズムの非解析に係わるものである。 すべての理論的結果は、AdagradアルゴリズムとNewtonアルゴリズムの両方に対する線形回帰および正規化一般化線形モデルに適用される。
  論文  参考訳（メタデータ） (2023-03-01T07:36:03Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Stability vs Implicit Bias of Gradient Methods on Separable Data and Beyond [33.593203156666746]
  分離線形分類に適用された非正規化勾配に基づく学習手順の一般化特性に着目する。 この一般化についてさらに統一的な説明をし、実現可能性と自己有界性(self-boundedness)と呼ぶ。 これらのケースのいくつかでは、文献における既存の一般化誤差境界に対して、我々の境界は著しく改善される。
  論文  参考訳（メタデータ） (2022-02-27T19:56:36Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• The Convolution Exponential and Generalized Sylvester Flows [82.18442368078804]
  本稿では,線形変換の指数関数を取り入れ,線形フローを構築する新しい手法を提案する。 重要な洞察として、指数関数は暗黙的に計算できるため、畳み込み層を使用することができる。 畳み込み指数はCIFAR10上の生成フローにおいて他の線形変換よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-02T19:43:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。