論文の概要: Efficient Stochastic Optimisation via Sequential Monte Carlo
- arxiv url: http://arxiv.org/abs/2601.22003v1
- Date: Thu, 29 Jan 2026 17:13:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:50.031015
- Title: Efficient Stochastic Optimisation via Sequential Monte Carlo
- Title（参考訳）: 連続モンテカルロによる効率的な確率最適化
- Authors: James Cuin, Davide Carbone, Yanbo Tang, O. Deniz Akyildiz,
- Abstract要約: 難解勾配を持つ関数を最適化するための連続モンテカルロサンプリング器を開発する。
提案手法は,高コストな内部サンプリング手法を効率的なSMC近似に置き換えることにより,計算精度が大幅に向上する。
本研究は,エネルギーベースモデルの報酬調整におけるアプローチの有効性を示す。
- 参考スコア（独自算出の注目度）: 0.5599792629509229
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The problem of optimising functions with intractable gradients frequently arise in machine learning and statistics, ranging from maximum marginal likelihood estimation procedures to fine-tuning of generative models. Stochastic approximation methods for this class of problems typically require inner sampling loops to obtain (biased) stochastic gradient estimates, which rapidly becomes computationally expensive. In this work, we develop sequential Monte Carlo (SMC) samplers for optimisation of functions with intractable gradients. Our approach replaces expensive inner sampling methods with efficient SMC approximations, which can result in significant computational gains. We establish convergence results for the basic recursions defined by our methodology which SMC samplers approximate. We demonstrate the effectiveness of our approach on the reward-tuning of energy-based models within various settings.
- Abstract（参考訳）: 難解な勾配を持つ関数を最適化する問題は機械学習や統計学においてしばしば発生する。
この種の問題に対する確率近似法は、一般に内部サンプリングループによって(偏った)確率勾配の推定値を得る必要があり、計算コストは急速に高くなる。
本研究では,難解勾配関数を最適化するための連続モンテカルロ(SMC)サンプリング器を開発する。
提案手法は,高コストな内部サンプリング手法を効率的なSMC近似に置き換えることにより,計算精度が大幅に向上する。
我々は,SMCサンプリング器が近似した手法によって定義される基本再帰に対する収束結果を確立する。
本研究は,エネルギーベースモデルの報酬調整におけるアプローチの有効性を示す。
関連論文リスト
- Quantum Speedups for Markov Chain Monte Carlo Methods with Application to Optimization [12.054017903540194]
我々はマルコフ・チェイン・モンテカルロ法に対する証明可能な高速化を提供する量子アルゴリズムを提案する。
勾配推定のための新しい手法を導入することにより,従来のサンプリング器の複雑さが向上する。
論文 参考訳（メタデータ） (2025-04-04T17:44:22Z) - Stochastic interior-point methods for smooth conic optimization with applications [0.8519339317685906]
一般円錐最適化のためのインテリアポイント法を4つの新しいSIPM変種とともに導入する。
提案したSIPMの複雑性は,多対数係数まで,制約のないデータストリームにおいて最もよく知られた結果と一致する。
頑健な線形回帰、マルチタスク関係学習、クラスタリングデータストリームの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2024-12-17T15:06:44Z) - Multi-level Monte-Carlo Gradient Methods for Stochastic Optimization with Biased Oracles [23.648702140754967]
バイアスのあるオラクルにアクセスし、低いバイアスで目的を得る必要がある場合、最適化を検討する。
偏り勾配法は,非分散状態のばらつきを低減できることを示す。
また、条件最適化手法は、条件最適化とリスク最適化の文献における最もよく知られた複雑さを著しく改善することを示した。
論文 参考訳（メタデータ） (2024-08-20T17:56:16Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳（メタデータ） (2020-11-09T22:07:30Z) - An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
論文 参考訳（メタデータ） (2020-10-03T16:22:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。