論文の概要: A Caputo fractional derivative-based algorithm for optimization

• arxiv url: http://arxiv.org/abs/2104.02259v1
• Date: Tue, 6 Apr 2021 03:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 13:49:44.211225
• Title: A Caputo fractional derivative-based algorithm for optimization
• Title（参考訳）: Caputo分数微分に基づく最適化アルゴリズム
• Authors: Yeonjong Shin, J\'er\^ome Darbon, George Em Karniadakis
• Abstract要約: 本稿では,一般のCaputo fractional descent gradient (CFGD)法を提案する。 非適応型アダプティブ端末とアダプティブオーダーの3つのバージョンを提案します。 非二次関数の場合、ガウス・ジャコビ四乗法を用いてCFGDの効率的な実装を開発する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a novel Caputo fractional derivative-based optimization algorithm. Upon defining the Caputo fractional gradient with respect to the Cartesian coordinate, we present a generic Caputo fractional gradient descent (CFGD) method. We prove that the CFGD yields the steepest descent direction of a locally smoothed objective function. The generic CFGD requires three parameters to be specified, and a choice of the parameters yields a version of CFGD. We propose three versions -- non-adaptive, adaptive terminal and adaptive order. By focusing on quadratic objective functions, we provide a convergence analysis. We prove that the non-adaptive CFGD converges to a Tikhonov regularized solution. For the two adaptive versions, we derive error bounds, which show convergence to integer-order stationary point under some conditions. We derive an explicit formula of CFGD for quadratic functions. We computationally found that the adaptive terminal (AT) CFGD mitigates the dependence on the condition number in the rate of convergence and results in significant acceleration over gradient descent (GD). For non-quadratic functions, we develop an efficient implementation of CFGD using the Gauss-Jacobi quadrature, whose computational cost is approximately proportional to the number of the quadrature points and the cost of GD. Our numerical examples show that AT-CFGD results in acceleration over GD, even when a small number of the Gauss-Jacobi quadrature points (including a single point) is used.
• Abstract（参考訳）: 本稿では,Caputo分数微分に基づく新しい最適化アルゴリズムを提案する。 カルテシアン座標に関してカプトー分数勾配を定義する際、一般的なカプトー分数勾配降下法(CFGD)を提案する。 CFGDは局所的に滑らかな対象関数の最も急降下方向を示す。 CFGDは3つのパラメータを指定する必要があり、パラメータの選択によってCFGDのバージョンが生成される。 我々は,非適応型,適応型,適応型という3つのバージョンを提案する。 二次目的関数に着目して収束解析を行う。 非適応CFGDがチコノフ正規化解に収束することを証明する。 2つの適応バージョンに対して、ある条件下での整数次定常点への収束を示す誤差境界を導出する。 二次関数に対するCFGDの明示的な公式を導出する。 その結果,適応型端末(at)cfgdは収束率の条件数依存性を緩和し,勾配降下の著しい加速(gd)をもたらすことがわかった。 非二次関数に対して、計算コストは二次点の数とGDのコストにほぼ比例するガウス・ヤコビ二次関数を用いたCFGDの効率的な実装を開発する。 数値実験により,gauss-jacobi二次点(単点を含む)を少数使用しても,at-cfgd は gd 上で加速することを示した。

関連論文リスト

• A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization [83.12938977698988]
  Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。 現在のアプローチでは、コサイン類似性に基づく共起行列 $barA$ の固有の最適化に不適切に対処している。 本稿では,これらの欠陥に対処するNon-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T07:24:11Z)
• Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
  曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。 提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。 プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-07T03:18:00Z)
• Randomized Forward Mode of Automatic Differentiation For Optimization Algorithms [0.0]
  バックプロパゲーションの代替としてランダム化フォワードモード勾配(RFG)を提案する。 確率分布はRFGの統計特性を決定する。 勾配をRFGに置き換えることで、RFGに基づく最適化アルゴリズムのクラスが得られる。
  論文  参考訳（メタデータ） (2023-10-22T04:02:39Z)
• The Novel Adaptive Fractional Order Gradient Decent Algorithms Design via Robust Control [5.5491171448159715]
  バニラ分数次降下は、目的関数が強く凸である場合には、正確な最小点に収束する代わりに、大域最小点の周りの領域に振動的に収束することがある。 この問題に対処するために,新しい適応分数次降下法 (AFDOG) と新しい分数次降下法 (AFOAGD) を提案する。
  論文  参考訳（メタデータ） (2023-03-08T02:03:30Z)
• Detecting Rotated Objects as Gaussian Distributions and Its 3-D Generalization [81.29406957201458]
  既存の検出方法は、パラメータ化バウンディングボックス(BBox)を使用して(水平)オブジェクトをモデル化し、検出する。 このような機構は回転検出に有効な回帰損失を構築するのに基本的な限界があると主張する。 回転した物体をガウス分布としてモデル化することを提案する。 2次元から3次元へのアプローチを、方向推定を扱うアルゴリズム設計により拡張する。
  論文  参考訳（メタデータ） (2022-09-22T07:50:48Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• LSG-CPD: Coherent Point Drift with Local Surface Geometry for Point Cloud Registration [1.8876415010297891]
  剛点雲登録のための局所表面形状法 (LSG-CPD) を用いた CPD と呼ばれる新しい手法を提案する。 本手法は,局所表面の平坦度に基づいて,点対面のペナリゼーションに異なるレベルのペナリゼーションを適応的に付加する。 CPDの現代の実装よりもはるかに高速です。
  論文  参考訳（メタデータ） (2021-03-28T03:46:41Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• An improved convergence analysis for decentralized online stochastic non-convex optimization [17.386715847732468]
  本稿では,GT-Loakjasiewics(GT-Loakjasiewics)と呼ばれる手法が,GT-Loakjasiewics(GT-Loakjasiewics)が現在の収束率を満たすことを示す。 結果はすぐに適用できるだけでなく、現在知られている最高の収束率にも適用できる。
  論文  参考訳（メタデータ） (2020-08-10T15:29:13Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。