論文の概要: Stochastic Multiple Target Sampling Gradient Descent
- arxiv url: http://arxiv.org/abs/2206.01934v1
- Date: Sat, 4 Jun 2022 07:54:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 12:50:07.259933
- Title: Stochastic Multiple Target Sampling Gradient Descent
- Title(参考訳): 確率的多重ターゲットサンプリング勾配降下
- Authors: Hoang Phan, Ngoc Tran, Trung Le, Toan Tran, Nhat Ho, Dinh Phung
- Abstract要約: SVGD(Stin Variational Gradient Descent)は、関心の分布を近似するために粒子の集合を反復的に更新する強力な方法である。
我々は,複数の非正規化対象分布からサンプルを抽出できるMultiple Target Gradient Descent (MT-SGD)を提案する。
- 参考スコア(独自算出の注目度): 25.261778039932402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sampling from an unnormalized target distribution is an essential problem
with many applications in probabilistic inference. Stein Variational Gradient
Descent (SVGD) has been shown to be a powerful method that iteratively updates
a set of particles to approximate the distribution of interest. Furthermore,
when analysing its asymptotic properties, SVGD reduces exactly to a
single-objective optimization problem and can be viewed as a probabilistic
version of this single-objective optimization problem. A natural question then
arises: "Can we derive a probabilistic version of the multi-objective
optimization?". To answer this question, we propose Stochastic Multiple Target
Sampling Gradient Descent (MT-SGD), enabling us to sample from multiple
unnormalized target distributions. Specifically, our MT-SGD conducts a flow of
intermediate distributions gradually orienting to multiple target
distributions, which allows the sampled particles to move to the joint
high-likelihood region of the target distributions. Interestingly, the
asymptotic analysis shows that our approach reduces exactly to the
multiple-gradient descent algorithm for multi-objective optimization, as
expected. Finally, we conduct comprehensive experiments to demonstrate the
merit of our approach to multi-task learning.
- Abstract(参考訳): 非正規化対象分布からのサンプリングは、確率的推論における多くの応用において重要な問題である。
SVGD(Stin Variational Gradient Descent)は、関心の分布を近似するために粒子の集合を反復的に更新する強力な方法である。
さらに、その漸近特性を解析すると、SVGDは正確に単目的最適化問題に還元され、この単目的最適化問題の確率バージョンとみなすことができる。
自然の疑問は「多目的最適化の確率的なバージョンを導き出すか?」である。
そこで本研究では,複数の非正規化対象分布から試料を採取できる確率的マルチターゲットサンプリング勾配降下 (mt-sgd) を提案する。
具体的には, MT-SGDは, 複数のターゲット分布に徐々に配向する中間分布の流れを流し, 試料粒子は対象分布の高次領域へ移動することができる。
興味深いことに、漸近解析は、我々のアプローチが予想通り多目的最適化のための多重勾配降下アルゴリズムに正確に還元されることを示している。
最後に,マルチタスク学習へのアプローチのメリットを示す総合的な実験を行った。
関連論文リスト
- Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳(メタデータ) (2023-06-13T17:56:02Z) - Outlier-Robust Sparse Mean Estimation for Heavy-Tailed Distributions [42.6763105645717]
少数の破損したサンプルが与えられた場合、ゴールは確率の高い$mu$を正確に近似する仮説を効率的に計算することである。
本アルゴリズムは, 周辺次元と対数的にスケーリングするサンプルを多数使用して, 最適誤差を実現する。
我々の分析は、ある空間特性を満たす正の半定値に対する(非スペクトル)分解の繊細な設計を含む、独立した関心を持つかもしれない。
論文 参考訳(メタデータ) (2022-11-29T16:13:50Z) - Multi-Task Learning on Networks [0.0]
マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。
この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。
確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
論文 参考訳(メタデータ) (2021-12-07T09:13:10Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳(メタデータ) (2021-10-07T17:51:10Z) - Runtime Analysis of Single- and Multi-Objective Evolutionary Algorithms
for Chance Constrained Optimization Problems with Normally Distributed Random
Variables [13.264683014487376]
独立かつ正規分布のコンポーネントのシナリオについて検討する。
付加的な一様制約を課すことは、既に局所最適であることを示す。
また,本手法は,木に散らばった最小限の問題に対して最適解の集合を計算するためにも有効であることを示す。
論文 参考訳(メタデータ) (2021-09-13T09:24:23Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳(メタデータ) (2021-02-14T03:37:22Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for
Distributional Optimization [95.67541186704399]
分散最適化問題は機械学習や統計学で広く発生する。
本研究では,ワッサースタイン勾配降下を概ね行う,変分輸送と呼ばれる新しい粒子ベースアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳(メタデータ) (2020-12-21T18:33:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。