論文の概要: Neural Actor--Critic Learning with Minimax Critics and Reflected Langevin Sampling

• arxiv url: http://arxiv.org/abs/2611.03352v1
• Date: Mon, 02 Nov 2026 16:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.713269
• Title: Neural Actor--Critic Learning with Minimax Critics and Reflected Langevin Sampling
• Title（参考訳）: ニューラル・アクター-ミニマックス批判とリフレクテッド・ランゲヴィンサンプリングによる批判的学習
• Abstract要約: 我々は,シグモイドネットワーク上の正規化ミニマックスベルマン推定器と,批判勾配によって駆動される有限反射ランゲヴィンサンプリング器を組み合わせたニューラルアクター・クリティック・プロシージャを開発した。 均一なベルマン正則性とカバーリセットサンプリングの下では、正の高次作用導出的ペナルティは値と行動段階的リスク境界をもたらす。
• 参考スコア（独自算出の注目度）: 4.078515631825888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Actor--critic methods rely on critic gradients to improve continuous-action policies, yet finite-sample guarantees must control both value and gradient errors and their propagation through the actor. We develop a neural actor-critic procedure that combines a regularized minimax Bellman estimator over sigmoid networks with a finite reflected Langevin sampler driven by the fitted critic gradient. Under uniform Bellman regularity and covered reset sampling, a positive high-order action-derivative penalty yields value and action-gradient risk bounds with classical nonparametric minimax exponents up to logarithmic factors. We propagate estimation, mixing, discretization, temperature, and policy-iteration errors to obtain return guarantees, with refinements for bounded multimodal potentials and strongly concave regimes. Empirical studies across controlled simulations, logged continuous-control data, and a simulated decision task show favorable performance relative to the considered baselines.
• Abstract（参考訳）: アクター批判的手法は、継続的なアクションポリシーを改善するために批判的勾配に依存するが、有限サンプル保証は値と勾配の誤差とアクターによる伝播を制御しなければならない。 我々は,シグモイドネットワーク上の正規化ミニマックスベルマン推定器と,適応された批判勾配によって駆動される有限反射ランゲヴィンサンプリング器を組み合わせたニューラルアクター・クリティック・プロシージャを開発した。 均一なベルマン正則性と被覆されたリセットサンプリングの下では、正の高次行動導出的ペナルティは古典的非パラメトリックミニマックス指数の値と作用段階的リスクバウンドを対数的因子まで与える。 評価, 混合, 離散化, 温度, およびポリシイテレーションの誤差を伝播させ, 帰納保証を得る。 制御されたシミュレーション、ログ化された連続制御データ、およびシミュレーションされた決定タスクに関する実証研究は、考慮されたベースラインに対して良好な性能を示す。

関連論文リスト

• Improved Sample Complexity Analysis For First Order Bilevel Reinforcement Learning [44.384258745074646]
  我々は,特定の多層ニューラルアクターを用いた連続状態と有限動作の手法を開発した。 共同降下と追跡の議論は、選択された正規化ポリシー応答によって誘導される上位目標の期待勾配2乗ノルムに対して、改善された$widetildemathcal O(varepsilon-2)$サンプル複雑性を確立する。
  論文  参考訳（メタデータ） (2026-11-01T03:34:53Z)
• Amortized Score-Hamiltonian Policy Iteration: A Grid-Free Scheme for Relaxed Stochastic Control Problems [12.372723206832214]
  本研究では,連続的ランゲヴィンダイナミクスに基づくポリシー値反復のアモータイズ・グリッドフリーな実装を開発する。 我々は,高次元空間におけるアクター-批判的学習の結合を実証するための一般モデルの実験を行った。
  論文  参考訳（メタデータ） (2026-10-03T04:28:25Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Stabilized neural Hamilton--Jacobi--Bellman solvers: Error analysis and applications in model-based reinforcement learning [3.8280665730760366]
  ハミルトン-ヤコビ-ベルマン方程式の理論はモデルに基づく強化学習に適用できる。 我々は、グリッドベースの値未知を回避しつつ、安定化された有限差分ポリシー評価構造を保存するハイブリッドシステムを開発する。 64次元までのコンパクト制御LQRの実験、アレン・カーン制御、振り子、ホッパー、および3Dクアロータのベンチマークは、代表的なモデルベースとモデルフリーのRLベースラインと比較する。
  論文  参考訳（メタデータ） (2026-05-08T01:48:02Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Explicit Lipschitz Value Estimation Enhances Policy Robustness Against Perturbation [2.2120851074630177]
  ロボット制御タスクでは、シミュレーションにおいて強化学習(RL)によって訓練されたポリシーは、物理ハードウェアにデプロイされた場合、しばしばパフォーマンス低下を経験する。 リプシッツ正則化は、近似値関数勾配の条件付けに役立ち、訓練後のロバスト性の向上につながる。
  論文  参考訳（メタデータ） (2024-04-22T05:01:29Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。