論文の概要: SGB: Stochastic Gradient Bound Method for Optimizing Partition Functions
- arxiv url: http://arxiv.org/abs/2011.01474v1
- Date: Tue, 3 Nov 2020 04:42:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 04:26:59.928953
- Title: SGB: Stochastic Gradient Bound Method for Optimizing Partition Functions
- Title(参考訳): SGB:分割関数最適化のための確率勾配境界法
- Authors: Jing Wang, Anna Choromanska
- Abstract要約: 本稿では,学習環境における分割関数の最適化の問題に対処する。
本稿では,2次代理を持つ分割関数の上界に依存する有界偏化アルゴリズムの変種を提案する。
- 参考スコア(独自算出の注目度): 15.33098084159285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of optimizing partition functions in a
stochastic learning setting. We propose a stochastic variant of the bound
majorization algorithm that relies on upper-bounding the partition function
with a quadratic surrogate. The update of the proposed method, that we refer to
as Stochastic Partition Function Bound (SPFB), resembles scaled stochastic
gradient descent where the scaling factor relies on a second order term that is
however different from the Hessian. Similarly to quasi-Newton schemes, this
term is constructed using the stochastic approximation of the value of the
function and its gradient. We prove sub-linear convergence rate of the proposed
method and show the construction of its low-rank variant (LSPFB). Experiments
on logistic regression demonstrate that the proposed schemes significantly
outperform SGD. We also discuss how to use quadratic partition function bound
for efficient training of deep learning models and in non-convex optimization.
- Abstract(参考訳): 本稿では,確率学習環境において分割関数を最適化する問題に対処する。
本稿では,2次代理を持つ分割関数の上界に依存する有界偏化アルゴリズムの確率的変種を提案する。
提案手法の更新はStochastic Partition Function Bound (SPFB) と呼ばれ、スケーリング係数がヘシアンと異なる2次項に依存するようなスケールされた確率勾配勾配に類似している。
準ニュートンスキームと同様に、この用語は関数の値とその勾配の確率近似を用いて構成される。
本稿では,提案手法の線形収束速度を証明し,その低ランク変種(lspfb)の構成を示す。
ロジスティック回帰実験は,提案手法がsgdを有意に上回っていることを示す。
また、ディープラーニングモデルの効率的なトレーニングや非凸最適化に2次分割関数をバウンダリングする方法についても論じる。
関連論文リスト
- Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.41104247065851574]
本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。
我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
論文 参考訳(メタデータ) (2023-11-28T17:03:56Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Riemannian Stochastic Gradient Method for Nested Composition
Optimization [0.0]
この研究は、各函数が期待を含むリーマン多様体上のネスト形式の函数の構成の最適化を考える。
このような問題は、強化学習における政策評価やメタラーニングにおけるモデルカスタマイズといった応用において人気が高まっている。
論文 参考訳(メタデータ) (2022-07-19T15:58:27Z) - A Closed Loop Gradient Descent Algorithm applied to Rosenbrock's
function [0.0]
本稿では,非拘束慣性減衰の勾配降下アルゴリズムとして応用できる勾配系の新しい適応手法を提案する。
また、リアプノフ安定性解析を用いて、連続数値時間バージョンの性能を実証する。
論文 参考訳(メタデータ) (2021-08-29T17:25:24Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。
有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。
このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文 参考訳(メタデータ) (2021-02-19T01:17:15Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。