論文の概要: A High-order Tuner for Accelerated Learning and Control

• arxiv url: http://arxiv.org/abs/2103.12868v1
• Date: Tue, 23 Mar 2021 22:21:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 23:50:38.846014
• Title: A High-order Tuner for Accelerated Learning and Control
• Title（参考訳）: 加速学習と制御のための高次チューナー
• Authors: Spencer McDonald, Yingnan Cui, Joseph E. Gaudio and Anuradha M. Annaswamy
• Abstract要約: 近年,高速な学習を実現するために,高次情報に基づく反復アルゴリズムが研究されている。 高次チューナーが線形パラメータ化システムにおける時間変動レグレッサーによる安定性をもたらすことが示された。 HTアルゴリズムは、推定、フィルタリング、制御、および機械学習の幅広い問題に適用することができるため、本論文で得られた結果は、リアルタイムかつ迅速な意思決定のトピックへの重要な拡張を表します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-descent based iterative algorithms pervade a variety of problems in estimation, prediction, learning, control, and optimization. Recently iterative algorithms based on higher-order information have been explored in an attempt to lead to accelerated learning. In this paper, we explore a specific a high-order tuner that has been shown to result in stability with time-varying regressors in linearly parametrized systems, and accelerated convergence with constant regressors. We show that this tuner continues to provide bounded parameter estimates even if the gradients are corrupted by noise. Additionally, we also show that the parameter estimates converge exponentially to a compact set whose size is dependent on noise statistics. As the HT algorithms can be applied to a wide range of problems in estimation, filtering, control, and machine learning, the result obtained in this paper represents an important extension to the topic of real-time and fast decision making.
• Abstract（参考訳）: 勾配拡散型反復アルゴリズムは、推定、予測、学習、制御、最適化といった様々な問題にまたがる。 近年,高次情報に基づく反復的アルゴリズムが,学習を高速化するために研究されている。 本稿では,線形パラメタライズドシステムにおける時間変化レグレシタの安定性と,一定の回帰器による収束の促進を図った高次チューナについて検討する。 このチューナーは,雑音により勾配が劣化しても境界パラメータ推定を継続することを示す。 さらに,パラメータ推定値は,ノイズの統計量に依存するコンパクト集合に指数関数的に収束することを示した。 HTアルゴリズムは、推定、フィルタリング、制御、機械学習の幅広い問題に適用できるため、本論文で得られた結果は、リアルタイムおよび高速な意思決定のトピックに対する重要な拡張である。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Posterior Sampling with Delayed Feedback for Reinforcement Learning with Linear Function Approximation [62.969796245827006]
  Delayed-PSVI は楽観的な値に基づくアルゴリズムであり、後続サンプリングによる雑音摂動により値関数空間を探索する。 我々のアルゴリズムは、未知の遅延が存在する場合に、$widetildeO(sqrtd3H3 T + d2H2 E[tau]$最悪の後悔を実現する。 遅延LPSVIのための勾配に基づく近似サンプリングスキームをLangevin動的に組み込んだ。
  論文  参考訳（メタデータ） (2023-10-29T06:12:43Z)
• Ordering for Non-Replacement SGD [7.11967773739707]
  我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。 我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。 さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
  論文  参考訳（メタデータ） (2023-06-28T00:46:58Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Online estimation and control with optimal pathlength regret [52.28457815067461]
  オンライン学習アルゴリズムを設計する際の自然なゴールは、入力シーケンスの時間的変動の観点から、アルゴリズムの後悔を束縛することである。 OCOや盗賊など、さまざまなオンライン学習問題に対して、データ依存の「病的」後悔境界が最近取得されている。
  論文  参考訳（メタデータ） (2021-10-24T22:43:15Z)
• A Stable High-order Tuner for General Convex Functions [0.0]
  線形回帰問題に対して高次チューナー (HT) を開発した。 本稿では、一般凸損失関数に対する同じHTの結果を拡張し、議論する。 本稿では,HTアルゴリズムの満足な動作を支援する数値シミュレーションと,高速化学習特性について述べる。
  論文  参考訳（メタデータ） (2020-11-19T17:50:53Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
  深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。 本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:54:20Z)
• Stochastic Gradient Langevin with Delayed Gradients [29.6870062491741]
  本研究では,計算に用いた遅延勾配情報による誤差が測定値の収束率に有意な影響を及ぼさないことを示す。 計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-12T17:51:30Z)
• Accelerated Learning with Robustness to Adversarial Regressors [1.0499611180329802]
  本稿では,逆回帰器の存在下での安定性と収束性を保証する離散時間アルゴリズムを提案する。 特に、回帰器が一定である場合、我々のアルゴリズムは少なくとも $tildemathcalO (1/sqrtepsilon)$ において $epsilon$ 準最適点に達する。
  論文  参考訳（メタデータ） (2020-05-04T14:42:49Z)
• Active Learning for Identification of Linear Dynamical Systems [12.056495277232118]
  アルゴリズムが達成した有限時間境界推定率を示す。 そこで本研究では,ノイズを発生させることによって得られるオーバレートを,アルゴリズムが確実に改善する事例をいくつか分析する。
  論文  参考訳（メタデータ） (2020-02-02T21:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。