Fugu-MT 論文翻訳(概要): Convergence Acceleration of Markov Chain Monte Carlo-based Gradient Descent by Deep Unfolding

論文の概要: Convergence Acceleration of Markov Chain Monte Carlo-based Gradient Descent by Deep Unfolding

arxiv url: http://arxiv.org/abs/2402.13608v1
Date: Wed, 21 Feb 2024 08:21:48 GMT
ステータス: 処理完了
システム内更新日: 2024-02-22 16:17:47.367484
Title: Convergence Acceleration of Markov Chain Monte Carlo-based Gradient Descent by Deep Unfolding
Title（参考訳）: 深い展開によるマルコフ連鎖モンテカルロ型勾配降下の収束加速
Authors: Ryo Hagiwara and Satoshi Takabe
Abstract要約: 本研究では,深部展開法(deep unfolding)と呼ばれる深部学習手法を用いて,最適化問題(COP)のトレーニング可能なサンプリングベース解法を提案する。提案手法は,マルコフ鎖モンテカルロ(MCMC)と勾配勾配を結合したオオゼキ法に基づいている。数個のCOPの数値計算結果から,提案した解法はオリジナルの大関法と比較して収束速度を著しく向上させた。
参考スコア（独自算出の注目度）: 5.584060970507506
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study proposes a trainable sampling-based solver for combinatorial optimization problems (COPs) using a deep-learning technique called deep unfolding. The proposed solver is based on the Ohzeki method that combines Markov-chain Monte-Carlo (MCMC) and gradient descent, and its step sizes are trained by minimizing a loss function. In the training process, we propose a sampling-based gradient estimation that substitutes auto-differentiation with a variance estimation, thereby circumventing the failure of back propagation due to the non-differentiability of MCMC. The numerical results for a few COPs demonstrated that the proposed solver significantly accelerated the convergence speed compared with the original Ohzeki method.
Abstract（参考訳）: 本研究では,deep unfoldingと呼ばれるディープラーニング手法を用いて,組合せ最適化問題(cops)に対する学習可能なサンプリング型解法を提案する。提案手法は,マルコフ連鎖モンテカルロ(MCMC)と勾配降下を結合したオオゼキ法に基づいており,そのステップサイズは損失関数の最小化によって訓練される。本稿では, MCMCの非微分性による後方伝播の失敗を回避するために, 自動微分を分散推定に置き換えるサンプリングベース勾配推定法を提案する。数個のcopの数値計算結果から,本手法は従来のohzeki法に比べて収束速度を著しく向上させた。

関連論文リスト

Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文参考訳（メタデータ） (2024-08-20T19:06:02Z)
Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
論文参考訳（メタデータ） (2024-03-15T18:13:48Z)
Faster Sampling without Isoperimetry via Diffusion-based Monte Carlo [30.4930148381328]
拡散に基づくモンテカルロ (DMC) は、等尺条件を超えた一般目標分布から試料を採取する手法である。 DMCは、高い勾配の複雑さに遭遇し、その結果、得られたサンプルのエラー耐性$epsilon$に指数関数的に依存する。本稿では,新しい再帰に基づくスコア推定法に基づくRS-DMCを提案する。私たちのアルゴリズムは、人気のあるLangevinベースのアルゴリズムよりもはるかに高速です。
論文参考訳（メタデータ） (2024-01-12T02:33:57Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
A Homogenization Approach for Gradient-Dominated Stochastic Optimization [6.1144486886258065]
勾配支配を享受する関数に対する同次二階降下法(SHSOD)を提案する。以上の結果から,SHSODMは勾配優先最適化法において,他の2次法で達成された最もよく知られたサンプルの複雑さと一致していることがわかった。
論文参考訳（メタデータ） (2023-08-21T11:03:04Z)
Reverse Diffusion Monte Carlo [19.35592726471155]
逆拡散モンテカルロ(rdMC)と呼ばれる新しいモンテカルロサンプリングアルゴリズムを提案する。 rdMCはマルコフ連鎖モンテカルロ(MCMC)法とは異なる。
論文参考訳（メタデータ） (2023-07-05T05:42:03Z)
An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文参考訳（メタデータ） (2023-06-10T08:25:16Z)
Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。これは擬似コアセット構築プロセスにおける近似の必要性を排除する。複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
論文参考訳（メタデータ） (2023-03-20T17:13:50Z)
Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文参考訳（メタデータ） (2022-02-26T19:10:48Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文参考訳（メタデータ） (2021-02-04T02:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。