論文の概要: SGB: Stochastic Gradient Bound Method for Optimizing Partition Functions

• arxiv url: http://arxiv.org/abs/2011.01474v1
• Date: Tue, 3 Nov 2020 04:42:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 04:26:59.928953
• Title: SGB: Stochastic Gradient Bound Method for Optimizing Partition Functions
• Title（参考訳）: SGB:分割関数最適化のための確率勾配境界法
• Authors: Jing Wang, Anna Choromanska
• Abstract要約: 本稿では,学習環境における分割関数の最適化の問題に対処する。 本稿では,2次代理を持つ分割関数の上界に依存する有界偏化アルゴリズムの変種を提案する。
• 参考スコア（独自算出の注目度）: 15.33098084159285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of optimizing partition functions in a stochastic learning setting. We propose a stochastic variant of the bound majorization algorithm that relies on upper-bounding the partition function with a quadratic surrogate. The update of the proposed method, that we refer to as Stochastic Partition Function Bound (SPFB), resembles scaled stochastic gradient descent where the scaling factor relies on a second order term that is however different from the Hessian. Similarly to quasi-Newton schemes, this term is constructed using the stochastic approximation of the value of the function and its gradient. We prove sub-linear convergence rate of the proposed method and show the construction of its low-rank variant (LSPFB). Experiments on logistic regression demonstrate that the proposed schemes significantly outperform SGD. We also discuss how to use quadratic partition function bound for efficient training of deep learning models and in non-convex optimization.
• Abstract（参考訳）: 本稿では,確率学習環境において分割関数を最適化する問題に対処する。 本稿では,2次代理を持つ分割関数の上界に依存する有界偏化アルゴリズムの確率的変種を提案する。 提案手法の更新はStochastic Partition Function Bound (SPFB) と呼ばれ、スケーリング係数がヘシアンと異なる2次項に依存するようなスケールされた確率勾配勾配に類似している。 準ニュートンスキームと同様に、この用語は関数の値とその勾配の確率近似を用いて構成される。 本稿では,提案手法の線形収束速度を証明し,その低ランク変種(lspfb)の構成を示す。 ロジスティック回帰実験は,提案手法がsgdを有意に上回っていることを示す。 また、ディープラーニングモデルの効率的なトレーニングや非凸最適化に2次分割関数をバウンダリングする方法についても論じる。

関連論文リスト

• A Functional Model Method for Nonconvex Nonsmooth Conditional Stochastic Optimization [0.0]
  本稿では, 基底乱ベクトルの非線形関数の期待値と, 基底乱ベクトルに依存する他の関数の条件付き期待値を含む最適化問題を考察する。 本研究では, 外部関数が滑らかで, 内部関数が異なる非制約学習問題に対して, 特殊な単一スケール法を提案する。
  論文  参考訳（メタデータ） (2024-05-17T14:35:50Z)
• Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization [0.6906005491572401]
  バッチ降下勾配 (SGD) における雑音は, 目的関数の平滑化の効果を示す。 我々は,学習率とバッチサイズによってスムース化の度合いが変化する新しい累積最適化アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2023-11-15T07:27:40Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
  これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。 理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
  論文  参考訳（メタデータ） (2023-06-09T13:43:07Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Riemannian Stochastic Gradient Method for Nested Composition Optimization [0.0]
  この研究は、各函数が期待を含むリーマン多様体上のネスト形式の函数の構成の最適化を考える。 このような問題は、強化学習における政策評価やメタラーニングにおけるモデルカスタマイズといった応用において人気が高まっている。
  論文  参考訳（メタデータ） (2022-07-19T15:58:27Z)
• A Closed Loop Gradient Descent Algorithm applied to Rosenbrock's function [0.0]
  本稿では,非拘束慣性減衰の勾配降下アルゴリズムとして応用できる勾配系の新しい適応手法を提案する。 また、リアプノフ安定性解析を用いて、連続数値時間バージョンの性能を実証する。
  論文  参考訳（メタデータ） (2021-08-29T17:25:24Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。