論文の概要: Randomized Transport Maps for Model-Free Policy-Gradient Mean-Field Control
- arxiv url: http://arxiv.org/abs/2610.11619v1
- Date: Thu, 08 Oct 2026 09:58:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.940283
- Title: Randomized Transport Maps for Model-Free Policy-Gradient Mean-Field Control
- Title（参考訳）: モデル自由政策勾配平均場制御のためのランダム化トランスポートマップ
- Abstract要約: トランスポートREINFORCEはトランスポートマップに基づくアプローチであり、人口分布の適切な変換を摂動させ、この平均場への貢献を見積もる。
摂動が消えるにつれて、摂動目標と勾配の一貫性が証明され、結果として得られるサンプルベース勾配推定器のバイアスと平均二乗誤差境界が導出される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a model-free policy gradient method for discrete-time mean-field control (MFC). In MFC, the policy affects the objective both through the controlled dynamics and through the population distribution. Standard REINFORCE estimators capture the first effect but not the second. We introduce Transport REINFORCE, a transport map-based approach that perturbs a suitable transformation of the population distribution to estimate this missing mean-field contribution. The method applies to both finite and continuous state spaces. In finite state spaces, we perturb the population distribution directly on the probability simplex through a convex combination of the current population weights and random weights. In continuous state spaces, we project the population distribution onto the manifold of Gaussian mixtures, and then randomize it via a transport map that ensures the perturbed law remains within this manifold. We prove consistency of the perturbed objective and gradient as the perturbation vanishes, and derive bias and mean-square error bounds for the resulting sample-based gradient estimator. Numerical experiments on several MFC benchmarks show that Transport REINFORCE improves over standard REINFORCE.
- Abstract（参考訳）: 離散時間平均場制御(MFC)のためのモデルフリーポリシー勾配法を開発した。
MFCでは、この政策は制御力学と人口分布の両方を通して目的に影響を及ぼす。
標準REINFORCE推定器は第1の効果を捉えるが、第2の効果は捉えない。
本稿では,トランスポートマップをベースとしたトランスポートREINFORCEを提案する。
この方法は有限状態空間と連続状態空間の両方に適用できる。
有限状態空間では、現在の集団重みとランダムな重みの凸結合により、確率単純度に直接分布を摂動する。
連続状態空間では、集団分布をガウス混合の多様体に射影し、その多様体内に摂動法則が残るような輸送写像を通してランダム化する。
摂動が消えるにつれて、摂動目標と勾配の一貫性が証明され、結果として得られるサンプルベース勾配推定器のバイアスと平均二乗誤差境界が導出される。
いくつかのMFCベンチマークの数値実験では、Transport ReINFORCEは標準のREINFORCEよりも改善されている。
関連論文リスト
- FluxLite: Inference-Time Proposal Control for Discrete Diffusion Models [22.416181303190573]
本稿では、離散拡散のための軽量でトレーニング不要な提案制御フレームワークであるFluxLiteを紹介する。
我々はこの原理を2つの実践的なサンプルとしてインスタンス化している: 1-hop Local reallocation rule (HEU) と、事前訓練されたレートベース (D-VCG) 上の小さな非負の二次プログラムである。
論文 参考訳（メタデータ） (2026-09-28T17:02:48Z) - Robustness of Diffusion Models under Distribution Shift [14.380273008668206]
We study robust score estimation under Wasserstein perturbations of a reference distribution。
Ornstein--Uhlenbeck拡散について、ロバストな推定は2つの基本成分に分解されることを示す。
論文 参考訳（メタデータ） (2026-09-23T08:36:09Z) - Mean-Field Path-Integral Diffusion: From Samples to Interacting Agents [0.0]
Mean-Field Path-Integral Diffusion (MF-PID) は、個体群密度の変動に自在に依存する相互作用する物質にサンプルを昇格させる枠組みである。
MF-PIDは、所定の端末分布を正確に一致させながら、独立エージェントベースラインに対する累積制御エネルギーを19～24%削減する。
論文 参考訳（メタデータ） (2026-02-23T21:14:06Z) - Model-free policy gradient for discrete-time mean-field control [1.1470070927586018]
本研究では,有限状態空間とコンパクトな行動空間を持つ平均場制御問題に対するモデル自由政策学習について検討する。
我々は,MFCのモデルフリーポリシー勾配アルゴリズムであるMF-REINFORCEを開発し,そのバイアスと平均二乗誤差に明確な定量的境界を確立する。
論文 参考訳（メタデータ） (2026-01-16T11:49:25Z) - Enhanced Importance Sampling through Latent Space Exploration in Normalizing Flows [69.8873421870522]
重要サンプリングはモンテカルロシミュレーションで使われる稀な事象シミュレーション手法である。
正規化フローの潜在空間における提案分布を更新し,より効率的なサンプリング法を提案する。
論文 参考訳（メタデータ） (2025-01-06T21:18:02Z) - Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
Amortized Posterior Smplingは、逆問題における効率的な後方サンプリングのための新しい変分推論手法である。
本手法は,拡散モデルにより暗黙的に定義された変動分布と後続分布とのばらつきを最小限に抑えるために条件付き流れモデルを訓練する。
既存の手法とは異なり、我々のアプローチは教師なしであり、ペア化されたトレーニングデータを必要としておらず、ユークリッドと非ユークリッドの両方のドメインに適用できる。
論文 参考訳（メタデータ） (2024-07-25T09:53:12Z) - Metropolis Monte Carlo sampling: convergence, localization transition
and optimality [0.0]
目標定常分布からの偏差は局所化遷移を特徴とすることを示す。
局所化移行前後の緩和は拡散率と拒絶率によってそれぞれ制限されていると論じる。
論文 参考訳（メタデータ） (2022-07-21T14:06:04Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Random Forest Weighted Local Fréchet Regression with Random Objects [18.128663071848923]
本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。
最初の方法は、これらの重みを局所平均として、条件付きFr'echet平均を解くことである。
第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
論文 参考訳（メタデータ） (2022-02-10T09:10:59Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Comparing Probability Distributions with Conditional Transport [63.11403041984197]
新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。
ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。
さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
論文 参考訳（メタデータ） (2020-12-28T05:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。