論文の概要: Derivation of Coordinate Descent Algorithms from Optimal Control Theory
- arxiv url: http://arxiv.org/abs/2309.03990v1
- Date: Thu, 7 Sep 2023 19:46:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 16:44:46.468474
- Title: Derivation of Coordinate Descent Algorithms from Optimal Control Theory
- Title（参考訳）: 最適制御理論による座標降下アルゴリズムの導出
- Authors: I. M. Ross
- Abstract要約: 基本座標導出アルゴリズムは最大原理と最大関数の集合を用いて「制御」リャプノフ関数として導出可能であることを示す。
結果として得られる座標降下アルゴリズムの収束は、対応するリャプノフ函数の制御された散逸と結び付けられる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, it was posited that disparate optimization algorithms may be
coalesced in terms of a central source emanating from optimal control theory.
Here we further this proposition by showing how coordinate descent algorithms
may be derived from this emerging new principle. In particular, we show that
basic coordinate descent algorithms can be derived using a maximum principle
and a collection of max functions as "control" Lyapunov functions. The
convergence of the resulting coordinate descent algorithms is thus connected to
the controlled dissipation of their corresponding Lyapunov functions. The
operational metric for the search vector in all cases is given by the Hessian
of the convex objective function.
- Abstract（参考訳）: 近年,最適制御理論から発する中心源の観点から異なる最適化アルゴリズムが融合される可能性が示唆された。
ここでは、この新たな原理から座標降下アルゴリズムを導出する方法を示すことにより、この提案をさらに進める。
特に、最大原理と最大関数の集合を「制御」リアプノフ関数として利用して、基本座標導出アルゴリズムを導出できることが示される。
結果として得られる座標降下アルゴリズムの収束は、対応するリャプノフ関数の制御された散逸につながっている。
すべての場合における探索ベクトルの操作的計量は凸目的関数のヘッセンによって与えられる。
関連論文リスト
- Bregman-divergence-based Arimoto-Blahut algorithm [53.64687146666141]
本稿では,Arimoto-BlahutアルゴリズムをBregman-Diversergenceシステム上で定義された一般関数に一般化する。
本稿では,古典的および量子速度歪み理論に適用可能な凸最適化自由アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-10T06:16:24Z) - ALEXR: An Optimal Single-Loop Algorithm for Convex Finite-Sum Coupled Compositional Stochastic Optimization [53.14532968909759]
ALEXRと呼ばれる,効率的な単ループプリマルデュアルブロックコーディネートアルゴリズムを提案する。
本研究では, ALEXR の凸面および強凸面の収束速度を滑らか性および非滑らか性条件下で確立する。
本稿では,ALEXRの収束速度が,検討されたcFCCO問題に対する1次ブロック座標アルゴリズムの中で最適であることを示すために,より低い複雑性境界を示す。
論文 参考訳（メタデータ） (2023-12-04T19:00:07Z) - Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and
Optimal Algorithms [64.10576998630981]
最適なヘッセン依存型サンプルの複雑さを, 初めて厳密に評価した。
ヘシアン非依存のアルゴリズムは、すべてのヘシアンインスタンスに対して最適なサンプル複雑さを普遍的に達成する。
本アルゴリズムにより得られたサンプルの最適複雑さは,重み付き雑音分布においても有効である。
論文 参考訳（メタデータ） (2023-06-21T17:03:22Z) - Composite Optimization Algorithms for Sigmoid Networks [3.160070867400839]
線形化近位アルゴリズムと乗算器の交互方向に基づく合成最適化アルゴリズムを提案する。
フランク関数のフィッティングに関する数値実験により、提案アルゴリズムは十分堅牢に機能することを示した。
論文 参考訳（メタデータ） (2023-03-01T15:30:29Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - A Derivation of Nesterov's Accelerated Gradient Algorithm from Optimal
Control Theory [0.0]
ネステロフの加速勾配アルゴリズムは第一原理から導かれる。
結果の微分方程式のオイラー離散化はネステロフのアルゴリズムを生成する。
論文 参考訳（メタデータ） (2022-03-29T19:26:20Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳（メタデータ） (2020-09-08T06:54:11Z) - Stochastic Coordinate Minimization with Progressive Precision for
Stochastic Convex Optimization [16.0251555430107]
凸最適化のための反復座標最小化(CM)に基づくフレームワークを開発した。
最適精度制御と結果の順序-最適後悔性能を確立する。
提案アルゴリズムは,大規模最適化のためのCMのスケーラビリティと並列性特性を継承し,オンライン実装に適したアルゴリズムである。
論文 参考訳（メタデータ） (2020-03-11T18:42:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。