論文の概要: Optimising Distributions with Natural Gradient Surrogates
- arxiv url: http://arxiv.org/abs/2310.11837v2
- Date: Mon, 4 Mar 2024 11:52:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 01:57:42.450675
- Title: Optimising Distributions with Natural Gradient Surrogates
- Title(参考訳): 自然勾配サーロゲートによる最適化分布
- Authors: Jonathan So, Richard E. Turner
- Abstract要約: 本稿では,そのような問題に対処するための新しい手法を提案する。
本手法の適用と解釈できる既存手法の例をいくつか紹介し,多種多様な問題に適用するための新しい手法を提案する。
本稿では,最大推定法と変分推定法について述べる。
- 参考スコア(独自算出の注目度): 24.53732048133567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural gradient methods have been used to optimise the parameters of
probability distributions in a variety of settings, often resulting in
fast-converging procedures. Unfortunately, for many distributions of interest,
computing the natural gradient has a number of challenges. In this work we
propose a novel technique for tackling such issues, which involves reframing
the optimisation as one with respect to the parameters of a surrogate
distribution, for which computing the natural gradient is easy. We give several
examples of existing methods that can be interpreted as applying this
technique, and propose a new method for applying it to a wide variety of
problems. Our method expands the set of distributions that can be efficiently
targeted with natural gradients. Furthermore, it is fast, easy to understand,
simple to implement using standard autodiff software, and does not require
lengthy model-specific derivations. We demonstrate our method on maximum
likelihood estimation and variational inference tasks.
- Abstract(参考訳): 自然勾配法は様々な設定で確率分布のパラメータを最適化するために使われており、しばしば高速収束手順をもたらす。
残念なことに、多くの関心の分布に対して、自然勾配の計算には多くの課題がある。
本研究では,自然勾配の計算が容易なサーロゲート分布のパラメータに対して,最適化を1として再設計することを含む,このような問題に取り組むための新しい手法を提案する。
本稿では,この手法を応用できる既存手法の例をいくつか紹介し,その手法を様々な問題に適用する新しい手法を提案する。
本手法は,自然勾配を効率的に対象とする分布の集合を拡張する。
さらに、高速で理解しやすく、標準のautodiffソフトウェアを使って簡単に実装でき、長いモデル固有の導出を必要としない。
本稿では,最大確率推定と変分推論タスクについて述べる。
関連論文リスト
- Guided Sketch-Based Program Induction by Search Gradients [0.0]
本稿では,進化戦略を用いた探索勾配によるパラメータ化プログラムの学習フレームワークを提案する。
この定式化は、プログラマがプログラムのスケッチにタスク固有のコードを付与できるようにするため、従来のプログラム帰納法から逸脱する。
論文 参考訳(メタデータ) (2024-02-10T16:47:53Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳(メタデータ) (2023-11-04T11:12:24Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-10-08T23:39:38Z) - Fast and Correct Gradient-Based Optimisation for Probabilistic
Programming via Smoothing [0.0]
本稿では,後部推論を最適化問題とする変分推論の基礎について検討する。
私たちは、測定可能とスムーズな(近似的な)値セマンティクスの両方を言語に与えました。
提案手法は鍵となる競合相手と同様の収束性を持つが,よりシンプルで,高速で,作業正規化分散の桁違いの低減が達成できることを示す。
論文 参考訳(メタデータ) (2023-01-09T15:12:45Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳(メタデータ) (2022-02-26T19:10:48Z) - Efficient Natural Gradient Descent Methods for Large-Scale Optimization
Problems [1.2891210250935146]
本研究では,状態空間における一般測度に対する自然勾配降下方向の効率的な計算法を提案する。
我々の手法は、最小二乗問題に対する解として、自然勾配の方向を表すことに依存している。
大規模な空間に対して、ワッサーシュタイン自然勾配パラメータを含むいくつかの自然勾配降下を確実に計算できる。
論文 参考訳(メタデータ) (2022-02-13T07:32:17Z) - TaylorGAN: Neighbor-Augmented Policy Update for Sample-Efficient Natural
Language Generation [79.4205462326301]
TaylorGANは関数ベースの自然言語生成のための新しいアプローチである。
オフポリシー更新による勾配推定と1階のTaylor拡張が強化される。
これにより、より小さなバッチサイズで、スクラッチからNLGモデルをトレーニングすることができます。
論文 参考訳(メタデータ) (2020-11-27T02:26:15Z) - Conditional gradient methods for stochastically constrained convex
minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。
私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。
提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文 参考訳(メタデータ) (2020-07-07T21:26:35Z) - Conditional Gradient Methods for Convex Optimization with General Affine
and Nonlinear Constraints [8.643249539674612]
本稿では,一般アフィンおよび非線形制約を用いた凸最適化問題に対する条件勾配法を提案する。
まず、スムーズかつ構造化された非滑らかな関数制約凸最適化に対して、$cal O (1/epsilon2)$の反復複雑性を達成できる新しい制約外挿条件勾配(CoexCG)法を提案する。
さらに,制約外挿法と二重正規化条件勾配法(CoexDurCG)の新たな変種を開発した。
論文 参考訳(メタデータ) (2020-06-30T23:49:38Z) - Handling the Positive-Definite Constraint in the Bayesian Learning Rule [33.87717973872535]
ベイズ学習規則 (Bayes learning rule) は自然段階的な変分推論法である。
変動パラメータがオープンな制約セットにある場合、ルールは制約を満たすことができず、アルゴリズムを遅くする線探索を必要とする。
我々の研究は、パラメータ空間における正定値制約の存在下での規則の適用を容易にする。
論文 参考訳(メタデータ) (2020-02-24T03:29:39Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳(メタデータ) (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。