論文の概要: Multi-kernel Passive Stochastic Gradient Algorithms and Transfer
Learning
- arxiv url: http://arxiv.org/abs/2008.10020v2
- Date: Mon, 8 Feb 2021 03:34:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 03:04:20.272968
- Title: Multi-kernel Passive Stochastic Gradient Algorithms and Transfer
Learning
- Title(参考訳): マルチカーネルパッシブ確率勾配アルゴリズムと転送学習
- Authors: Vikram Krishnamurthy and George Yin
- Abstract要約: 勾配アルゴリズムはコスト関数のノイズ勾配が評価される位置を制御できない。
このアルゴリズムは高次元問題において著しく優れており、分散還元を取り入れている。
- 参考スコア(独自算出の注目度): 21.796874356469644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper develops a novel passive stochastic gradient algorithm. In passive
stochastic approximation, the stochastic gradient algorithm does not have
control over the location where noisy gradients of the cost function are
evaluated. Classical passive stochastic gradient algorithms use a kernel that
approximates a Dirac delta to weigh the gradients based on how far they are
evaluated from the desired point. In this paper we construct a multi-kernel
passive stochastic gradient algorithm. The algorithm performs substantially
better in high dimensional problems and incorporates variance reduction. We
analyze the weak convergence of the multi-kernel algorithm and its rate of
convergence. In numerical examples, we study the multi-kernel version of the
passive least mean squares (LMS) algorithm for transfer learning to compare the
performance with the classical passive version.
- Abstract(参考訳): 本稿では,新しい確率勾配アルゴリズムを提案する。
受動確率近似では、確率勾配アルゴリズムは、コスト関数のノイズ勾配が評価される位置を制御できない。
古典的なパッシブ確率勾配アルゴリズムは、ディラックデルタを近似するカーネルを使用して、所望の点からどこまで評価されたかに基づいて勾配を測定する。
本論文では,マルチカーネル受動確率勾配アルゴリズムを構築する。
このアルゴリズムは高次元問題において著しく優れており、分散還元を取り入れている。
本研究では,マルチカーネルアルゴリズムの弱収束とその収束率について解析する。
数値的な例では、移動学習のための受動最小平均平方(LMS)アルゴリズムのマルチカーネルバージョンを調べ、古典的受動バージョンと比較する。
関連論文リスト
- Variance reduction techniques for stochastic proximal point algorithms [5.871583927216651]
本稿では,SVRG,SAGAの近位バージョンと,そのスムーズな凸関数に対する変種について紹介する。
数値実験により, 勾配法に対する近似分散低減法の利点を実証した。
論文 参考訳(メタデータ) (2023-08-18T05:11:50Z) - Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。
本稿では,完全勾配の必要性を除去する。
集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
論文 参考訳(メタデータ) (2021-11-26T06:00:44Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Smoothed functional-based gradient algorithms for off-policy
reinforcement learning: A non-asymptotic viewpoint [9.734033555407406]
オフポリシ強化学習コンテキストにおける制御の問題を解決するための2つのポリシーグラデーションアルゴリズムを提案する。
どちらのアルゴリズムも、スムース機能(SF)ベースの勾配推定スキームを組み込む。
論文 参考訳(メタデータ) (2021-01-06T17:06:42Z) - Reparametrizing gradient descent [0.0]
本稿では,ノルム適応勾配勾配という最適化アルゴリズムを提案する。
我々のアルゴリズムは準ニュートン法と比較することもできるが、定常点ではなく根を求める。
論文 参考訳(メタデータ) (2020-10-09T20:22:29Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳(メタデータ) (2020-08-23T20:36:49Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳(メタデータ) (2020-01-27T08:23:58Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。