論文の概要: Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics
- arxiv url: http://arxiv.org/abs/2604.21456v1
- Date: Thu, 23 Apr 2026 09:13:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.402007
- Title: Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics
- Title（参考訳）: 微分力学による軌道と政策最適化のための連続モンテカルロ
- Abstract要約: そこで本研究では,有限水平軌道のサンプリングに基づくフレームワークと,微分可能な動的条件下でのポリシー最適化を提案する。
政策最適化のために, (i) 初期状態分布の決定論的経験的近似, (ii) ロールアウトランダム性を補助変数として扱う拡張空間構成を用いてTSMCを拡張した。
トラジェクトリ最適化およびポリシー最適化ベンチマークによる実験では、TSMCは広く適用可能であり、最先端のベースラインと好適に比較されている。
- 参考スコア（独自算出の注目度）: 5.415983152637643
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a sampling-based framework for finite-horizon trajectory and policy optimization under differentiable dynamics by casting controller design as inference. Specifically, we minimize a KL-regularized expected trajectory cost, which yields an optimal "Boltzmann-tilted" distribution over controller parameters that concentrates on low-cost solutions as temperature decreases. To sample efficiently from this sharp, potentially multimodal target, we introduce tempered sequential Monte Carlo (TSMC): an annealing scheme that adaptively reweights and resamples particles along a tempering path from a prior to the target distribution, while using Hamiltonian Monte Carlo rejuvenation to maintain diversity and exploit exact gradients obtained by differentiating through trajectory rollouts. For policy optimization, we extend TSMC via (i) a deterministic empirical approximation of the initial-state distribution and (ii) an extended-space construction that treats rollout randomness as auxiliary variables. Experiments across trajectory- and policy-optimization benchmarks show that TSMC is broadly applicable and compares favorably to state-of-the-art baselines.
- Abstract（参考訳）: 制御器設計を推論としてキャストすることで, 微分可能力学の下での有限水平軌道とポリシー最適化のためのサンプリングベースフレームワークを提案する。
具体的には、KL規則化された予測軌道コストを最小化し、温度が低下するにつれて低コストの解に集中する制御パラメータよりも最適な「ボルツマンタイル」分布を得る。
この鋭く、潜在的に多モーダルなターゲットから効率的に試料を採取するために、熱処理された連続モンテカルロ (TSMC: tempered sequence Monte Carlo) を導入する。
政策最適化のためには、TSMCを拡張します。
一 初期状態分布の確定的経験近似
(ii)ロールアウトランダムネスを補助変数として扱う拡張空間構成。
トラジェクトリ最適化およびポリシー最適化ベンチマークによる実験では、TSMCは広く適用可能であり、最先端のベースラインと好適に比較されている。
関連論文リスト
- From Noise to Control: Parameterized Diffusion Policies [54.941343992110426]
本研究では,学習行動多様体に埋め込まれた連続パラメータに条件付き拡散ポリシーを学習するためのフレームワークを提案する。
政策重みを更新することなく、既知の戦略間の円滑な距離と、新しい制約への効率的な適応を可能にする。
論文 参考訳（メタデータ） (2026-05-29T20:21:50Z) - Inference-Time Alignment of Diffusion Models via Trust-Region Iterative Twisted Sequential Monte Carlo [15.105260031413698]
拡散に基づく生成モデルの推論時間アライメントについて検討する。
SMCに基づく推論時間アライメントにおけるツイスト機能学習のための信頼領域フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-24T15:08:52Z) - Flow Matching Policy with Entropy Regularization [16.47598359293598]
Flow Matching Policy with Entropy Regularization (FMER)は、通常の微分方程式(ODE)ベースのオンラインRLフレームワークである。
FMERは、フローマッチングを通じてポリシーをパラメータ化し、最適な輸送によって動機付けられたストレートな確率経路に沿ってアクションをサンプリングする。
スパースマルチゴールのFrankaKitchenベンチマークの実験は、FMERが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2026-03-18T13:00:20Z) - Diffusion Alignment Beyond KL: Variance Minimisation as Effective Policy Optimiser [35.260598916253635]
可変最小化政策最適化(VMPO)について紹介する。
VMPOは、ログの重みの分散を最小限に抑えるために拡散アライメントを定式化する。
ポテンシャル関数と分散最小化戦略の異なる選択の下で、VMPOは様々な既存メソッドを復元する。
論文 参考訳（メタデータ） (2026-02-12T18:06:03Z) - Reinforced sequential Monte Carlo for amortised sampling [49.92678178064033]
我々は、最大エントロピー強化学習(MaxEnt RL)により訓練されたシーケンシャルモンテカルロ(SMC)とニューラルシーケンシャルサンプリングとの接続を述べる。
本稿では,提案関数とツイスト関数の安定な連成訓練手法と,トレーニング信号のばらつきを低減するための適応重み付け方式について述べる。
論文 参考訳（メタデータ） (2025-10-13T17:59:11Z) - Inference-Time Scaling of Discrete Diffusion Models via Importance Weighting and Optimal Proposal Design [17.7006862812979]
本稿では、離散拡散モデルのスケーラブルな推論時間制御を可能にするシークエンシャルモンテカルロフレームワークを提案する。
具体的には,様々な中間目標に対するトラクタブルな重み付けを導出し,最適提案を特徴付ける。
合成タスク,言語モデリング,生物学設計,テキスト・ツー・イメージ生成といった実験結果から,我々のフレームワークが制御性やサンプルの品質を向上させることを示す。
論文 参考訳（メタデータ） (2025-05-28T16:12:03Z) - Policy Gradients for Optimal Parallel Tempering MCMC [0.276240219662896]
並列テンパリング(英: Parallel tempering)は、マルコフ・チェイン・モンテカルロ(Markov Chain Monte Carlo)のメタアルゴリズムである。
本稿では,政策勾配法を用いてサンプリング中の温度を動的に調整する適応温度選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-03T03:12:45Z) - Monte Carlo Policy Gradient Method for Binary Optimization [3.742634130733923]
パラメータ化されたポリシー分布に従って二項解をサンプリングする新しい確率モデルを開発する。
離散空間におけるコヒーレント探索には、並列マルコフ・チェイン・モンテカルロ法(MCMC)を用いる。
政策勾配法を期待する定常点への収束性を確立する。
論文 参考訳（メタデータ） (2023-07-03T07:01:42Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳（メタデータ） (2023-06-13T17:56:02Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Comparing Probability Distributions with Conditional Transport [63.11403041984197]
新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。
ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。
さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
論文 参考訳（メタデータ） (2020-12-28T05:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。