論文の概要: Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives

• arxiv url: http://arxiv.org/abs/2608.22227v1
• Date: Sun, 23 Aug 2026 05:41:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.953135
• Title: Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives
• Title（参考訳）: Smoothed Quantile Objectivesを用いたリスク感性強化学習
• Abstract要約: モデルに基づく楽観的学習アルゴリズムを開発し、遷移カーネルの信頼セットと低バッファの量子化基準を用いて計画する。 チューリング時間短縮の下で, 正確な点量子化評価と, 正確な低バッファ化量子化評価がPPハードであることを証明する。
• 参考スコア（独自算出の注目度）: 2.153824429735596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) has achieved tremendous success in recent years. However, the classical foundations of RL do not account for the risk sensitivity of the objective function, which is critical in various fields, including healthcare, finance, etc. A popular approach to incorporate risk sensitivity is to optimize a specific quantile of the cumulative reward distribution. However, exact quantile objectives are non-smooth and can change abruptly under small perturbations of the return distribution, making them difficult to optimize reliably when the transition model must be learned from data. Motivated by this instability, we develop UCB-BQRL, a model-based optimistic learning algorithm that maintains confidence sets for the transition kernel and plans using a lower-buffered quantile criterion. The buffered criterion smooths the exact quantile objective by averaging nearby lower quantiles, thereby improving stability under transition-estimation error. To compute the buffered-quantile policy at each episode, we introduce EVI-BQ, an exact dynamic-programming procedure. We establish a high-probability regret bound for UCB-BQRL, which up to logarithmic factors scales as $\mathcal{O}(\mathrm{e}^{τ/ρ_τ}+H^2\sqrt{SAT})$, where $ρ_τ$ is denoted as the root-level left-plateau threshold, which is a problem-dependent constant. Further, we establish an information-theoretic lower bound of $Ω(H/ρ_τ\sqrt{AT})$ for the regret of any algorithm dealing with a quantile objective function. Finally, we prove that the exact point-quantile evaluation and exact lower-buffered quantile evaluation are PP-hard under polynomial-time Turing reductions, even for a fixed policy in a two-state, one-action finite-horizon MDP.
• Abstract（参考訳）: 強化学習(RL)は近年,大きな成功を収めている。 しかし、RLの古典的基盤は、医療、金融など、様々な分野において重要な目的機能のリスク感受性を考慮に入れていない。 リスク感度を組み込むための一般的なアプローチは、累積報酬分布の特定の量子化を最適化することである。 しかし、正確な量子的目的は非滑らかであり、回帰分布の小さな摂動の下で突然変化しうるため、データから遷移モデルを学ばなければならない場合、確実に最適化することは困難である。 この不安定さを動機として,遷移カーネルに対する信頼セットと低バッファの量子化基準を用いて計画を行うモデルベース楽観的学習アルゴリズムである UCB-BQRL を開発した。 バッファリングされた基準は、近傍の低い量子化を平均化することにより、正確な量子化目標を円滑にし、遷移推定誤差下での安定性を向上させる。 各エピソードでバッファリングされた量子ポリシーを計算するために、正確な動的プログラミング手順であるEVI-BQを導入する。 UCB-BQRL に対する高い確率的残差を定め、対数的因子は $\mathcal{O}(\mathrm{e}^{τ/ρ_τ}+H^2\sqrt{SAT})$ とスケールする。 さらに、量子目的関数を扱う任意のアルゴリズムの後悔に対して、情報理論の下界として$Ω(H/ρ_τ\sqrt{AT})$を確立する。 最後に, 2 つの状態, 1 つの作用を持つ有限ホライゾン MDP の固定ポリシであっても, 多項式時間チューリング還元の下では, 正確な点量子化評価と, 正確な下界量子化評価が PP-hard であることが証明された。

関連論文リスト

• Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
  大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。 本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。 我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。 スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
  論文  参考訳（メタデータ） (2026-08-25T15:07:11Z)
• Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
  双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。 既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
  論文  参考訳（メタデータ） (2026-06-21T10:57:37Z)
• Optimistic Reinforcement Learning with Quantile Objectives [6.759916334688207]
  UCB-QRLは有限水平マルコフ決定過程における$$量子目的に対する楽観的な学習アルゴリズムである。 UCB-QRL は $mathcal Oleft((2/)H+1HsqrtSATHlog (2SATH/)right という高い確率の後悔をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-11-12T19:01:00Z)
• Beyond Isotonization: Scalable Non-Crossing Quantile Estimation via Neural Networks for Student Growth Percentiles [0.0]
  学生成長パーセンタイル(SGP)は、アメリカ合衆国の国家評価システムで広く採用されており、独立した量子レグレッションとポストホック補正が採用されている。 我々は、このアプローチが基本的な方法論上の矛盾を含んでいることを実証する: 独立に見積もられた、潜在的に交差する量子化の間には、単調性が必要である。 ニューラルネットワークを用いたマルチクエンタイル回帰(NNQR)を実用的な代替手段として提案する。
  論文  参考訳（メタデータ） (2025-10-25T19:39:07Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Nearly Optimal Latent State Decoding in Block MDPs [74.51224067640717]
  エピソードブロック MDP では、意思決定者は少数の潜在状態から生成される豊富な観測やコンテキストにアクセスすることができる。 まず、固定動作ポリシーに基づいて生成されたデータに基づいて、潜時状態復号関数を推定することに興味がある。 次に、報酬のないフレームワークにおいて、最適に近いポリシーを学習する問題について研究する。
  論文  参考訳（メタデータ） (2022-08-17T18:49:53Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。