論文の概要: Nonparametric Variance-Penalized Actor-Critic: Statistical Inference for Risk-Sensitive Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.14327v1
• Date: Sun, 13 Sep 2026 06:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.794117
• Title: Nonparametric Variance-Penalized Actor-Critic: Statistical Inference for Risk-Sensitive Reinforcement Learning
• Title（参考訳）: 非パラメトリック可変化アクター臨界:リスク感性強化学習のための統計的推測
• Abstract要約: 既存の手法では、オンラインのリターン分散を見積もる専用の第2の批評家が必要であり、アーキテクチャ上の複雑さと学習中の予測エラーを複雑化する。 本稿では,非パラメトリック分散ペンタライズドアクター批判(VPAC)フレームワークを提案する。 本結果は,リスク感応性RLに対する補助的批判に対して,実用的かつ理論的に健全な非パラメトリック統計的推測を定めている。
• 参考スコア（独自算出の注目度）: 9.412266381808685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variance penalization is a principled approach to risk-sensitive reinforcement learning (RL) that explicitly trades expected return for policy stability. Existing methods require a dedicated second critic to estimate return variance online, adding architectural complexity and compounding estimation error during learning. We propose a nonparametric variance-penalized actor-critic (VPAC) framework that replaces the variance critic with statistically grounded online estimators based on bootstrapping and random scaling, techniques drawn from the statistical inference literature for stochastic approximation. These estimators require no auxiliary network, maintain a single-critic architecture, and produce variance penalties that are bounded by construction, enabling clean convergence analysis. We establish almost-sure convergence for both a variance-penalized Q-learning algorithm and a two-timescale actor-critic variant via the ordinary differential equation (ODE) method, requiring only that variance estimates remain bounded rather than consistent. Empirically, we evaluate across discrete and continuous stochastic environments, demonstrating that the proposed methods match or exceed the variance reduction achieved by the existing dual-critic VPAC baseline while eliminating the overhead of a second critic. We further validate on a high-temperature superconductor (HTS) manufacturing case study, where VPAC-RS (Random Scaling) achieves a 74% reduction in steady-state critical current variability and a 63% reduction in episode return standard deviation, translating directly to improved yield consistency. Our results establish nonparametric statistical inference as a practical and theoretically sound alternative to auxiliary critics for risk-sensitive RL.
• Abstract（参考訳）: 可変ペナライゼーション(Variance Penalization)は、リスクに敏感な強化学習(RL)に対する原則的アプローチであり、政策安定のために期待されるリターンを明示的に取引する。 既存の手法では、オンラインのリターン分散を見積もる専用の第2の批評家が必要であり、アーキテクチャ上の複雑さと学習中の予測エラーを複雑化する。 確率近似のための統計的推論文献から得られた手法である、ブートストラップとランダムスケーリングに基づいて、分散批判を統計的に基礎づけたオンライン推定器に置き換える非パラメトリック分散ペンタライズアクタ批判(VPAC)フレームワークを提案する。 これらの推定器は補助的ネットワークを必要とせず、単一臨界アーキテクチャを維持し、構成によって束縛された分散ペナルティを生成し、クリーン収束解析を可能にする。 偏差補償Q-ラーニングアルゴリズムと常微分方程式(ODE)法による2時間スケールアクター・クリティック変種の両方に対して、偏差推定が整合性よりも有界であることを要求する。 実験により, 離散的, 連続的確率的環境を対象とし, 提案手法が既存の二重批判型VPACベースラインと一致するか, あるいは超えるかを示すとともに, 第二批判者のオーバーヘッドを排除した。 さらに, 高温超伝導体(HTS)製造ケーススタディにおいて, VPAC-RS (Random Scaling) が定常臨界電流のばらつきを74%低減し, 63%の逆戻り標準偏差を63%低減し, 直接変換することで収率整合性の向上を実現した。 本研究は,リスク感応性RLに対する補助的批判に対して,非パラメトリックな統計的推測を実用的,理論的に健全な代替として確立した。

関連論文リスト

• Conditional Diffusion for Nonparametric Instrumental Variable Quantile Regression [18.254578337569264]
  本研究では,条件拡散モデルとカーネルパラメトリック条件モーメント定式化を組み合わせた2段階推定器を提案する。 提案した推定器の余剰リスク境界を確立し,条件付き拡散モデルに対するエンドツーエンドの総変動保証を導出する。 シミュレーション研究と実データ応用により,提案手法が既存の非パラメトリックIVQR手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-08T16:01:24Z)
• Collaborative Weighting with Pessimistic Critic for Mitigating Overestimation in Off-Policy Reinforcement Learning [7.604367783364084]
  Collaborative Weighting Actor-Critic (CWAC) は、価値推定における予測の不確実性を考慮に入れた統合フレームワークである。 CWACは最小限のオーバーヘッドで既存の外部アルゴリズムフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-07-29T06:18:19Z)
• Gradient boosting for extremes: sampling theory and application to insurance [0.0]
  我々は、分布の共依存一般化ピークの推定に応用した勾配促進理論を開発する。 トレーニング中の勾配相関を著しく低減し,収束安定性を向上することを示す。 勾配上昇促進手法は, 入植コスト分布の尾に適しており, 開拓までの日数が, 尾の重みの主予測因子であることを明らかにする。
  論文  参考訳（メタデータ） (2026-06-12T08:51:00Z)
• Statistical Inference on Gradient Flows [46.05870703588429]
  経験的リスク最小化から生じる勾配流の時間一様統計的推測の理論を考案する。 本稿では,勾配流と連動して進化し,行列の逆転,再サンプリング,サンプル分割を回避するアルゴリズム対応共分散推定器を提案する。 この結果は統計的推測と最適化力学を結びつけ、勾配法における不確実性定量化のための実用的なツールを提供する。
  論文  参考訳（メタデータ） (2026-05-31T14:22:37Z)
• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Nonparametric Distribution Regression Re-calibration [3.0204520109309847]
  全体的な予測誤差の最小化は、キャリブレーションよりも情報を優先することをモデルに推奨する。 安全クリティカルな設定では、信頼に値する不確実性推定は狭い間隔よりも価値があることが多い。 条件付きカーネル平均埋め込みに基づく新しい非パラメトリック再校正アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-13T11:48:43Z)
• Conformal Prediction Beyond the Horizon: Distribution-Free Inference for Policy Evaluation [14.811119246685534]
  本研究では,無限水平政策評価のための統一型コンフォメーション予測フレームワークを提案する。 本手法は,分布RLと共形キャリブレーション,観測されないリターン,時間依存性,分布シフトといった課題に対処する。
  論文  参考訳（メタデータ） (2025-10-29T23:45:44Z)
• Convergence and Generalization of Anti-Regularization for Parametric Models [0.0]
  反正則化は損失関数に逆符号を持つ報酬項を導入する。 スペクトル安全性条件と信頼領域制約を定式化する。 我々は、プロジェクション演算子と勾配クリッピングを組み合わせた軽量な安全ガードを設計し、安定した介入を保証する。
  論文  参考訳（メタデータ） (2025-08-24T15:34:17Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。