論文の概要: Stochastic Multiple Target Sampling Gradient Descent
- arxiv url: http://arxiv.org/abs/2206.01934v1
- Date: Sat, 4 Jun 2022 07:54:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 12:50:07.259933
- Title: Stochastic Multiple Target Sampling Gradient Descent
- Title（参考訳）: 確率的多重ターゲットサンプリング勾配降下
- Authors: Hoang Phan, Ngoc Tran, Trung Le, Toan Tran, Nhat Ho, Dinh Phung
- Abstract要約: SVGD(Stin Variational Gradient Descent)は、関心の分布を近似するために粒子の集合を反復的に更新する強力な方法である。
我々は,複数の非正規化対象分布からサンプルを抽出できるMultiple Target Gradient Descent (MT-SGD)を提案する。
- 参考スコア（独自算出の注目度）: 25.261778039932402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sampling from an unnormalized target distribution is an essential problem
with many applications in probabilistic inference. Stein Variational Gradient
Descent (SVGD) has been shown to be a powerful method that iteratively updates
a set of particles to approximate the distribution of interest. Furthermore,
when analysing its asymptotic properties, SVGD reduces exactly to a
single-objective optimization problem and can be viewed as a probabilistic
version of this single-objective optimization problem. A natural question then
arises: "Can we derive a probabilistic version of the multi-objective
optimization?". To answer this question, we propose Stochastic Multiple Target
Sampling Gradient Descent (MT-SGD), enabling us to sample from multiple
unnormalized target distributions. Specifically, our MT-SGD conducts a flow of
intermediate distributions gradually orienting to multiple target
distributions, which allows the sampled particles to move to the joint
high-likelihood region of the target distributions. Interestingly, the
asymptotic analysis shows that our approach reduces exactly to the
multiple-gradient descent algorithm for multi-objective optimization, as
expected. Finally, we conduct comprehensive experiments to demonstrate the
merit of our approach to multi-task learning.
- Abstract（参考訳）: 非正規化対象分布からのサンプリングは、確率的推論における多くの応用において重要な問題である。
SVGD(Stin Variational Gradient Descent)は、関心の分布を近似するために粒子の集合を反復的に更新する強力な方法である。
さらに、その漸近特性を解析すると、SVGDは正確に単目的最適化問題に還元され、この単目的最適化問題の確率バージョンとみなすことができる。
自然の疑問は「多目的最適化の確率的なバージョンを導き出すか?」である。
そこで本研究では,複数の非正規化対象分布から試料を採取できる確率的マルチターゲットサンプリング勾配降下 (mt-sgd) を提案する。
具体的には, MT-SGDは, 複数のターゲット分布に徐々に配向する中間分布の流れを流し, 試料粒子は対象分布の高次領域へ移動することができる。
興味深いことに、漸近解析は、我々のアプローチが予想通り多目的最適化のための多重勾配降下アルゴリズムに正確に還元されることを示している。
最後に,マルチタスク学習へのアプローチのメリットを示す総合的な実験を行った。
関連論文リスト
- Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。
本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
論文 参考訳（メタデータ） (2025-01-15T04:09:21Z) - O(d/T) Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
最小の仮定の下で,拡散確率モデル(DDPM)の高速収束理論を確立する。
収束率は$O(k/T)$に改善され、$k$は対象データ分布の内在次元であることを示す。
これはDDPMが未知の低次元構造に自動的に適応する能力を強調している。
論文 参考訳（メタデータ） (2024-09-27T17:59:10Z) - Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。
シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。
実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-13T08:09:05Z) - Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。
物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。
PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
論文 参考訳（メタデータ） (2024-07-10T17:39:50Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳（メタデータ） (2023-11-02T02:05:38Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳（メタデータ） (2023-06-13T17:56:02Z) - Outlier-Robust Sparse Mean Estimation for Heavy-Tailed Distributions [42.6763105645717]
少数の破損したサンプルが与えられた場合、ゴールは確率の高い$mu$を正確に近似する仮説を効率的に計算することである。
本アルゴリズムは, 周辺次元と対数的にスケーリングするサンプルを多数使用して, 最適誤差を実現する。
我々の分析は、ある空間特性を満たす正の半定値に対する(非スペクトル)分解の繊細な設計を含む、独立した関心を持つかもしれない。
論文 参考訳（メタデータ） (2022-11-29T16:13:50Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - Runtime Analysis of Single- and Multi-Objective Evolutionary Algorithms for Chance Constrained Optimization Problems with Normally Distributed Random Variables [11.310502327308575]
独立して通常は分散しているコンポーネントのシナリオについて研究する。
期待されるコストとその分散をトレードオフする問題を多目的に定式化する。
また,本手法は,木に散らばった最小限の問題に対して最適解の集合を計算するためにも有効であることを示す。
論文 参考訳（メタデータ） (2021-09-13T09:24:23Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳（メタデータ） (2021-02-14T03:37:22Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。