論文の概要: Stein Variational Distributional Reinforcement Learning: Score-Guided Particles for Multivariate Return Distributions

• arxiv url: http://arxiv.org/abs/2610.17925v1
• Date: Tue, 13 Oct 2026 08:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 08:11:26.519844
• Title: Stein Variational Distributional Reinforcement Learning: Score-Guided Particles for Multivariate Return Distributions
• Title（参考訳）: 定常変分分布強化学習:多変量帰還分布のためのスコアガイド粒子
• Abstract要約: カテゴリー的批評家は報酬次元で指数関数的にスケールし、量子は正準多変量アナログを持たない。 本稿では,Stein variational distributional RL (SVDRL)を提案する。 その批判はスタイン粒子を出力し、スタイン変分勾配降下は分布ベルマンターゲットの学習点場に沿って輸送する。 SVDRLは、同じ数の粒子を持つ粒子批判者よりも稀な事象に対してより正確であり、MuJoCoの連続制御においても同等である。
• 参考スコア（独自算出の注目度）: 11.853253289304403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decisions that weigh several reward signals against each other require the joint distribution of the return vector. Categorical critics scale exponentially in the reward dimension, and quantiles have no canonical multivariate analogue. Multivariate distributional critics therefore represent each return distribution by M equal-weight particles trained with a discrepancy loss. Beyond their atoms, the particles provide no sampler and cannot resolve events rarer than 1/M. We propose Stein variational distributional RL (SVDRL). Its critic outputs Stein particles, which Stein variational gradient descent transports along a learned score field of the distributional Bellman target. We learn this field by bootstrapped denoising score matching across noise levels and tie it across the Bellman recursion by a consistency loss, which we prove is a non-expansive temporal-difference scheme in score space. The same field certifies the particles. Its reverse-diffusion sampler satisfies a supremal Wasserstein policy-evaluation bound that holds for bounded, possibly multimodal returns. The Stein particles inherit this bound up to a gap that we measure without ground truth, and the sampler answers tail-risk queries below the particle resolution at any sample size. Empirically, SVDRL is more accurate on rare events than particle critics with the same number of particles, and on par on MuJoCo continuous control.
• Abstract（参考訳）: いくつかの報奨信号を互いに重み付けする決定は、戻りベクトルの合同分布を必要とする。 カテゴリー的批評家は報酬次元で指数関数的にスケールし、量子は正準多変量アナログを持たない。 したがって、多変量分布批判は、差分損失で訓練されたM等重量粒子による各戻り分布を表す。 原子以外には、粒子はサンプリング器を提供しておらず、1/M以上の希少な事象を解決できない。 本稿では,Stein variational distributional RL (SVDRL)を提案する。 その批判はスタイン粒子を出力し、スタイン変分勾配降下は分布ベルマンターゲットの学習点場に沿って輸送する。 我々は、雑音レベルにまたがるデノナイジングスコアをブートストラップで学習し、一貫性損失によってベルマン再帰に結び付けることで、スコア空間における非拡張時間差スキームであることを証明した。 同じ磁場が粒子を認証する。 逆拡散サンプリング器は、有界でおそらくはマルチモーダルなリターンを保った超極的ワッサーシュタインポリシー評価境界を満たす。 スタイン粒子は、基底の真理なしに測定するギャップまでこの境界を継承し、サンプリング器は任意のサンプルサイズで粒子分解の下のテールリスククエリに答える。 経験的に、SVDRLは、同じ数の粒子を持つ粒子評論家よりも稀な事象に対してより正確であり、MuJoCoの連続的な制御において同等である。

関連論文リスト

• Two-Sample Testing via Generative Processes [60.42943145582429]
  生成輸送は、2つのサンプルが同じ分布から来るかどうかを決定する新しい方法を提供する。 2つのサンプルの間に直接補間体を構築し、対称スケジュールでは、その法則が時間反射の下で不変であることを観察する。 したがって、t と 1-t の辺辺が、Jensen-Shannon の発散を計算することで一致するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-10-06T12:48:27Z)
• Amortized mean-shift interacting particles [3.0012917600071156]
  本研究では,観測から重み付きノードを出力する学習マップと,後部サンプルを1回の前方通過で生成するアモルト化平均シフト相互作用粒子を紹介する。 任意のノード予算で観測や積分が見えないように一般化し、独立したサンプルを2つの方法で改善する。 クローズドフォーム、サンプル化、学習、物理ベースの後部まで、あらゆる予算で同じサンプルの数よりも正確に統合される。
  論文  参考訳（メタデータ） (2026-06-14T15:44:53Z)
• Intrinsic effective sample size for manifold-valued Markov chain Monte Carlo via kernel discrepancy [0.31727619150610836]
  カーネルの差分に基づく効率的なサンプルサイズを提案する。 提案した量は、実験的な分布と対象の分布との間には、同じ2乗のカーネルの差が生じる独立したドローの数である。
  論文  参考訳（メタデータ） (2026-05-05T01:37:41Z)
• Fundamental limits for weighted empirical approximations of tilted distributions [3.172282943656995]
  基底分布が不明なランダムベクトルの傾き分布からサンプルを生成するタスクを考えるが、そのサンプルは利用可能である。 これは金融や気候科学などの分野や稀な事象シミュレーションに応用できる。 サンプル数と傾きの度合いから,その精度を鋭く評価する。
  論文  参考訳（メタデータ） (2025-12-30T04:30:27Z)
• A Connection Between Learning to Reject and Bhattacharyya Divergences [57.942664964198286]
  インプットとラベルの両面で共同理想分布を学習することを検討する。 我々は、拒絶と統計的相違の閾値付けを関連づける。 一般に、バタチャリアの発散による拒絶は、Chowのルールよりも攻撃的でないことが分かる。
  論文  参考訳（メタデータ） (2025-05-08T14:18:42Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Unbalanced Sobolev Descent [31.777218621726284]
  非平衡ソボレフ蛍光(USD)は、高次元の音源分布を、必ずしも同じ質量を持つとは限らないターゲット分布へ輸送する粒子降下アルゴリズムである。 USDは、ソボレフ・フィッシャー差動の証人関数の流れに沿って粒子を輸送し(対流ステップ)、この証人関数に関して粒子の質量を再考する(反応ステップ)。 本稿では,USD が従来の粒子降下アルゴリズムよりも高速に質量を保存・保存して分布を輸送する合成例を示す。
  論文  参考訳（メタデータ） (2020-09-29T16:43:38Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。