論文の概要: Deep Reinforcement Learning with Buffered Quantile Objectives

• arxiv url: http://arxiv.org/abs/2609.21327v1
• Date: Fri, 18 Sep 2026 05:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.867861
• Title: Deep Reinforcement Learning with Buffered Quantile Objectives
• Title（参考訳）: バッファリング量子オブジェクトによる深層強化学習
• Abstract要約: 量子ベースの強化学習は、リスクに敏感な意思決定に対する解釈可能なアプローチを提供する。 この原則に基づく既存のメソッドはモデルベースのままであり、明示的な返却法計画に依存している。 バッファ付き量子学習をニューラルネットワーク近似に拡張するモデルフリー分布強化学習フレームワークであるDeep-BQRLを開発した。
• 参考スコア（独自算出の注目度）: 2.4206828137867107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantile-based reinforcement learning provides an interpretable approach to risk-sensitive decision-making by optimizing a prescribed quantile of the cumulative-return distribution. Despite this appeal, learning under a point quantile objective is challenging: quantiles can change abruptly under small perturbations of the return distribution, and exact quantile-sensitive planning requires computationally demanding distributional optimization. Lower-buffered quantiles alleviate the former difficulty by averaging neighboring quantiles immediately below the target level, providing a smoother surrogate while preserving the underlying point-quantile objective. Existing methods based on this principle, however, remain model-based and rely on explicit return-law planning, limiting their applicability beyond small tabular problems. We develop Deep-BQRL, a model-free distributional reinforcement-learning framework that extends buffered-quantile learning to neural function approximation. The method learns conditional return quantiles directly from sampled transitions, constructs buffered action scores from the relevant region of the learned quantile function, and uses ensemble disagreement to guide exploration. An augmented input representation allows the learned policy to respond to trajectory information without explicitly reproducing the quantile-state recursion required by exact planning. Experiments on an asset-selling optimal-stopping problem and slippery FrozenLake compare Deep-BQRL with model-based UCB-BQRL and tabular PPO and TRPO implementations. In asset selling, Deep-BQRL attains smaller mean cumulative point-quantile policy gaps than PPO and TRPO at the reported target levels, while UCB-BQRL retains the smallest gaps. The learned stopping decisions also vary with the target quantile, providing an interpretable illustration of the method's risk-sensitive behavior.
• Abstract（参考訳）: 量子に基づく強化学習は、累積-回帰分布の所定の量子化を最適化することにより、リスクに敏感な意思決定に対する解釈可能なアプローチを提供する。 この魅力にもかかわらず、点量子化の目的の下での学習は困難である: 量子化は、戻り分布の小さな摂動の下で突然変化し、正確な量子化に敏感な計画には、分布最適化を計算的に要求する必要がある。 低バッファの量子化は、ターゲットレベルよりすぐ下の隣の量子化を平均化し、基礎となる点量子化の目的を保ちながらよりスムーズなサロゲートを提供することにより、以前の困難を緩和する。 しかし、この原則に基づく既存の手法はモデルベースのままであり、明示的な返却法計画に依存しており、その適用性は小さな表付き問題を超えて制限されている。 バッファ付き量子学習をニューラルネットワーク近似に拡張するモデルフリー分布強化学習フレームワークであるDeep-BQRLを開発した。 本手法は,サンプル遷移から直接条件回帰量子化を学習し,学習した量子化関数の関連領域からバッファリングされた動作スコアを構築し,アンサンブル不一致を利用して探索を行う。 拡張された入力表現により、学習したポリシーは、正確な計画によって要求される量子状態の再帰を明示的に再現することなく、軌道情報に応答することができる。 資産売却の最適ストッピング問題と滑りやすいFrozenLakeの実験は、Deep-BQRLとモデルベースUPB-BQRLと表型PPOとTRPOの実装を比較した。 資産売却において、Deep-BQRLは報告された目標レベルにおいてPPOやTRPOよりも平均的な点数的政策ギャップを小さくし、UCB-BQRLは最小のギャップを保持する。 学習された停止決定は、ターゲットの量子化によっても異なり、メソッドのリスク感受性の振る舞いを解釈可能な図示を提供する。

関連論文リスト

• Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives [2.153824429735596]
  モデルに基づく楽観的学習アルゴリズムを開発し、遷移カーネルの信頼セットと低バッファの量子化基準を用いて計画する。 チューリング時間短縮の下で, 正確な点量子化評価と, 正確な低バッファ化量子化評価がPPハードであることを証明する。
  論文  参考訳（メタデータ） (2026-08-23T05:41:32Z)
• Adaptive Shot Allocation for Recursive QAOA via Reinforcement Learning [1.5469452301122175]
  RQAOA(Recursive QAOA)は、浅い量子回路を用いてペア相関を推定することで最適化問題を解決する。 それぞれの除去ステップには計測ショットが必要であり、繰り返しステージの数に応じて全ショットコストが増大する。 短期量子デバイスでは、ショット数の増加は直接ハードウェアレベルのノイズ源に曝される可能性がある。
  論文  参考訳（メタデータ） (2026-05-26T04:48:29Z)
• Quantile Geometry Regularization for Distributional Reinforcement Learning [20.41658533815372]
  我々はロバスト量子ベースインプリシト量子ネットワーク(RQIQN)を提案する。 我々はまず、IQN損失のスナップショットを、サンプリングされた電流分数に対する局所的な量子量推定問題の集合として再解釈する。 次に、各局所スロットを、分布的に堅牢な量子的推定式で頑健化し、ベルマン目標に対する閉形式、分数依存的な補正を与える。
  論文  参考訳（メタデータ） (2026-05-05T09:38:34Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models [53.339700196282905]
  大きな言語モデル(dLLM)に強化学習を適用する上で重要な課題は、その可能性関数の抽出性である。 本稿では,ELBOに基づく目的の特別に構築された下界を最大化するメモリ効率のRLアルゴリズムを提案する。 実験によると、BGPOは数学の問題解決、コード生成、計画タスクにおいて、dLLMの以前のRLアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-10-13T17:47:50Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Quantile Reward Policy Optimization: Alignment with Pointwise Regression and Exact Partition Functions [0.5416466085090772]
  emphQuantile Reward Policy Optimization (QRPO)を導入する。 QRPO は KL-正則化 RL 目的の閉形式解への回帰を可能にするために量子的報酬を使用する。 チャットとコーディングの評価において、一貫して最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-07-10T17:56:24Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。