論文の概要: Handling the Positive-Definite Constraint in the Bayesian Learning Rule

• arxiv url: http://arxiv.org/abs/2002.10060v13
• Date: Tue, 21 Jul 2020 16:01:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 02:52:28.545817
• Title: Handling the Positive-Definite Constraint in the Bayesian Learning Rule
• Title（参考訳）: ベイズ学習規則における正定値制約の扱い
• Authors: Wu Lin, Mark Schmidt, Mohammad Emtiyaz Khan
• Abstract要約: ベイズ学習規則 (Bayes learning rule) は自然段階的な変分推論法である。 変動パラメータがオープンな制約セットにある場合、ルールは制約を満たすことができず、アルゴリズムを遅くする線探索を必要とする。 我々の研究は、パラメータ空間における正定値制約の存在下での規則の適用を容易にする。
• 参考スコア（独自算出の注目度）: 33.87717973872535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Bayesian learning rule is a natural-gradient variational inference method, which not only contains many existing learning algorithms as special cases but also enables the design of new algorithms. Unfortunately, when variational parameters lie in an open constraint set, the rule may not satisfy the constraint and requires line-searches which could slow down the algorithm. In this work, we address this issue for positive-definite constraints by proposing an improved rule that naturally handles the constraints. Our modification is obtained by using Riemannian gradient methods, and is valid when the approximation attains a \emph{block-coordinate natural parameterization} (e.g., Gaussian distributions and their mixtures). We propose a principled way to derive Riemannian gradients and retractions from scratch. Our method outperforms existing methods without any significant increase in computation. Our work makes it easier to apply the rule in the presence of positive-definite constraints in parameter spaces.
• Abstract（参考訳）: ベイズ学習規則は、既存の学習アルゴリズムの多くを特別な場合として含むだけでなく、新しいアルゴリズムの設計を可能にする自然勾配変分推論法である。 残念ながら、変動パラメータがオープンな制約セットにある場合、ルールは制約を満たすことができず、アルゴリズムを遅くする線探索を必要とする。 本稿では,制約を自然に処理する改良ルールを提案することにより,正定値制約に対するこの問題に対処する。 我々の修正はリーマン勾配法を用いて得られ、近似が \emph{block-coordinate natural parameterization} (例:ガウス分布とその混合)に達すると有効である。 本稿では, リーマン勾配とリトラクションをゼロから導出する原理的手法を提案する。 本手法は計算量を大幅に増加させることなく既存の手法を上回る。 本研究はパラメータ空間における正定値制約の存在下でのルールの適用を容易にする。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• On the convergence of adaptive first order methods: proximal gradient and alternating minimization algorithms [4.307128674848627]
  AdaPG$q,r$は、より大きな段階的なポリシーと改善された下位境界を提供することで、既存の結果を統一し、拡張するフレームワークである。 パラメータの$q$と$r$の異なる選択について論じ、数値シミュレーションにより結果の有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-30T10:29:43Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Efficient Natural Gradient Descent Methods for Large-Scale Optimization Problems [1.2891210250935146]
  本研究では,状態空間における一般測度に対する自然勾配降下方向の効率的な計算法を提案する。 我々の手法は、最小二乗問題に対する解として、自然勾配の方向を表すことに依存している。 大規模な空間に対して、ワッサーシュタイン自然勾配パラメータを含むいくつかの自然勾配降下を確実に計算できる。
  論文  参考訳（メタデータ） (2022-02-13T07:32:17Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• l1-Norm Minimization with Regula Falsi Type Root Finding Methods [81.55197998207593]
  Regula Falsiルートフィンディング技術を使用して、非可能性に対する効率的なアプローチを開発します。 実用的性能は l1 正規化クラス t を用いて示される。
  論文  参考訳（メタデータ） (2021-05-01T13:24:38Z)
• AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
  適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。 有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。 このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
  論文  参考訳（メタデータ） (2021-02-19T01:17:15Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Gradient-Free Methods for Saddle-Point Problem [125.99533416395765]
  我々はGasnikov et al., 2017のアプローチを一般化し、不正確な勾配のないオラクルで(確率的な)凸最適化問題を解けるようにした。 我々のアプローチは、$fracnlog n$ の要求するオラクル呼び出しの回数を削減します。 論文の後半では、そのような仮定ができない場合を分析し、この問題を解決する方法の近代化方法に関する一般的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-12T16:44:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。