Fugu-MT 論文翻訳(概要): Adaptive Stopping Rule for Kernel-based Gradient Descent Algorithms

論文の概要: Adaptive Stopping Rule for Kernel-based Gradient Descent Algorithms

arxiv url: http://arxiv.org/abs/2001.02879v2
Date: Tue, 13 Jun 2023 14:19:55 GMT
ステータス: 処理完了
システム内更新日: 2023-06-14 19:11:34.726399
Title: Adaptive Stopping Rule for Kernel-based Gradient Descent Algorithms
Title（参考訳）: カーネルに基づく勾配降下アルゴリズムの適応停止規則
Authors: Xiangyu Chang, Shao-Bo Lin
Abstract要約: カーネルベース勾配降下アルゴリズムの適応的停止則を提案する。学習理論の枠組みにおける適応的停止規則の性能を解析する。
参考スコア（独自算出の注目度）: 27.002742106701863
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose an adaptive stopping rule for kernel-based gradient descent (KGD) algorithms. We introduce the empirical effective dimension to quantify the increments of iterations in KGD and derive an implementable early stopping strategy. We analyze the performance of the adaptive stopping rule in the framework of learning theory. Using the recently developed integral operator approach, we rigorously prove the optimality of the adaptive stopping rule in terms of showing the optimal learning rates for KGD equipped with this rule. Furthermore, a sharp bound on the number of iterations in KGD equipped with the proposed early stopping rule is also given to demonstrate its computational advantage.
Abstract（参考訳）: 本稿では,カーネルベース勾配降下(KGD)アルゴリズムに対する適応的停止則を提案する。我々は、KGDにおける反復の増分を定量化するための経験的有効次元を導入し、実装可能な早期停止戦略を導出する。学習理論の枠組みにおける適応的停止規則の性能を解析する。最近開発された積分演算子アプローチを用いて、この規則を具備したKGDの最適学習率を示すことで、適応停止則の最適性を厳格に証明する。さらに,提案する早期停止規則を満たしたkgdの反復数に対する鋭い境界も与えて,その計算上の優位性を実証する。

関連論文リスト

Bregman-divergence-based Arimoto-Blahut algorithm [53.64687146666141]
本稿では,Arimoto-BlahutアルゴリズムをBregman-Diversergenceシステム上で定義された一般関数に一般化する。本稿では,古典的および量子速度歪み理論に適用可能な凸最適化自由アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-08-10T06:16:24Z)
Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文参考訳（メタデータ） (2023-12-19T06:06:30Z)
Instance-Dependent Confidence and Early Stopping for Reinforcement Learning [99.57168572237421]
強化学習(RL)のための様々なアルゴリズムは、その収束率の劇的な変動を問題構造の関数として示している。この研究は、観察されたパフォーマンスの違いについて、textitexを説明する保証を提供する。次の自然なステップは、これらの理論的保証を実際に有用なガイドラインに変換することです。
論文参考訳（メタデータ） (2022-01-21T04:25:35Z)
Bregman Gradient Policy Optimization [97.73041344738117]
本稿では,Bregmanの発散と運動量に基づく強化学習のためのBregmanグラデーションポリシーの最適化を設計する。 VR-BGPOは、各イテレーションで1つの軌道のみを必要とする$epsilon$stationaryポイントを見つけるために、$tilde(epsilon-3)$で最高の複雑性に達する。
論文参考訳（メタデータ） (2021-06-23T01:08:54Z)
Learning Stochastic Optimal Policies via Gradient Descent [17.9807134122734]
学習に基づく最適制御処理(SOC)を体系的に開発する。本稿では, 微分方程式に対する随伴感度の導出について, 変分計算の直接適用により提案する。本稿では,比例トランザクションコストを伴う連続時間有限地平線ポートフォリオ最適化における提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-07T16:43:07Z)
Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文参考訳（メタデータ） (2021-04-12T13:13:34Z)
Recurrent Model Predictive Control [19.047059454849897]
一般非線形有限水平最適制御問題を解くために,リカレントモデル予測制御(RMPC)と呼ばれるオフラインアルゴリズムを提案する。提案アルゴリズムは,システム状態と参照値を直接制御入力にマッピングする最適ポリシを近似するために,繰り返し関数を用いる。
論文参考訳（メタデータ） (2021-02-23T15:01:36Z)
Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文参考訳（メタデータ） (2020-10-21T17:14:31Z)
Bounding the expected run-time of nonconvex optimization with early stopping [2.7648976108201815]
本研究は,検証関数に基づく早期停止を用いた勾配に基づく最適化アルゴリズムの収束性について検討する。我々は、この停止規則が適切に定義されていることを保証する条件を導出し、この基準を満たすのに必要なイテレーション数と勾配評価の期待値のバウンダリを提供する。
論文参考訳（メタデータ） (2020-02-20T16:43:37Z)
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文参考訳（メタデータ） (2020-02-13T05:42:27Z)
Boosting Algorithms for Estimating Optimal Individualized Treatment Rules [4.898659895355356]
最適な個別化処理規則を推定するための非パラメトリックアルゴリズムを提案する。提案アルゴリズムは機械学習文学において最も強力なアルゴリズムの1つであるXGBoostアルゴリズムに基づいている。
論文参考訳（メタデータ） (2020-01-31T22:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。