論文の概要: Robust Risk-Sensitive Reinforcement Learning from Corrupted Human Feedback

• arxiv url: http://arxiv.org/abs/2609.38938v1
• Date: Wed, 30 Sep 2026 04:13:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.165016
• Title: Robust Risk-Sensitive Reinforcement Learning from Corrupted Human Feedback
• Title（参考訳）: 破損した人間のフィードバックからのロバストリスク感性強化学習
• Abstract要約: 人間のフィードバックによる強化学習(RLHF)は、人間の比較から学習する。 本稿では, 静的条件付きリスクアットリスク(CVaR)を用いたオンラインリスク感受性RLHFについて検討する。 本稿では、不確実性重み付き報酬推定と楽観的な拡張状態CVaR計画を組み合わせた重み付きストリーム参照CVaR RLHF(WSP-CVaR-RLHF)を提案する。
• 参考スコア（独自算出の注目度）: 25.401491045806623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with human feedback (RLHF) learns from human comparisons, which can be corrupted or deliberately manipulated. This paper studies online risk-sensitive RLHF with static conditional value-at-risk (CVaR) under adversarial preference-label flips. We consider additive linear rewards and a fixed-reference protocol with one comparison per episode and at most $C$ flipped labels over $K$ episodes. We propose weighted streamed-preference CVaR RLHF (WSP-CVaR-RLHF), which combines uncertainty-weighted reward estimation with optimistic augmented-state CVaR planning. For known transitions and normalized rewards, we establish the regret bound $\widetilde{O}\left(\frac{d}κ\sqrt{\frac{K}α}+\frac{dC}{κα}\right)$ up to lower-order terms, where $d$ is the reward-feature dimension, $α$ is the CVaR level, and $κ$ characterizes the preference link. The bound separates the clean statistical cost from the penalty caused by corrupted feedback. We further extend the analysis to unknown tabular transitions, where the trajectory distribution entering the CVaR objective must be learned together with the reward. We address the resulting coupled uncertainty using rectangular transition confidence sets, joint optimistic planning, and a history-level CVaR simulation argument. Experiments under four adversarial attacks demonstrate that WSP-CVaR-RLHF consistently reduces cumulative regret relative to its unweighted robust counterpart while preserving confidence-set coverage.
• Abstract（参考訳）: 人間のフィードバックによる強化学習(RLHF)は、人間の比較から学習する。 本稿では, 静的条件付きリスクアットリスク(CVaR)を用いたオンラインリスク感受性RLHFについて検討する。 加算線形報酬と固定参照プロトコルを、エピソード毎に1回比較し、少なくとも$C$のラベルを1回あたり$K$のラベルで比較する。 本稿では、不確実性重み付き報酬推定と楽観的な拡張状態CVaR計画を組み合わせた重み付きストリーム参照CVaR RLHF(WSP-CVaR-RLHF)を提案する。 既知の遷移と正規化報酬に対して、左辺の$\widetilde{O}\left(\frac{d}κ\sqrt {\frac{K}α}+\frac{dC}{κα}\right)$を下階の項に設定する。 境界は、不正なフィードバックによって生じるペナルティから、クリーンな統計コストを分離する。 そこでは,CVaRの対象となる軌道分布を報奨とともに学習する必要がある。 本稿では, 長方形遷移信頼セット, 共同楽観的計画, 歴史レベルCVaRシミュレーションの議論を用いて, 結合した不確実性に対処する。 4つの敵攻撃による実験では、WSP-CVaR-RLHFは信頼度を保ちながら、その非重みのないロバストな攻撃に対する累積的後悔を減少させる。

関連論文リスト

• Counterfactual Shapley Credit Assignment [49.39649767581182]
  クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。 対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。 我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
  論文  参考訳（メタデータ） (2026-07-18T23:28:20Z)
• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• Reward Redistribution for CVaR MDPs using a Bellman Operator on L-infinity [16.835098688159004]
  静的条件付きリスクリスク(CVaR)のようなテールエンドのリスク対策は、稀だが破滅的な事態を防止するために安全クリティカルな応用に用いられている。 我々は、離散化された拡張状態に依存するリスク逆値とモデルなしQ-ラーニングアルゴリズムを開発した。 実験により,本アルゴリズムはCVaR感受性ポリシーを学習し,効果的な性能保証トレードオフを実現することができた。
  論文  参考訳（メタデータ） (2026-02-03T17:39:45Z)
• Safe Langevin Soft Actor Critic [10.683491090059867]
  拘束強化学習における報酬と安全性のバランスをとるために,安全ランゲヴィン・ソフト・アクター・クリティカル(SL-SAC)を導入した。 SL-SACは10タスク中7タスクで最低コストを達成し,競争的リターンを維持していることを示す。 Safety-Gymnasiumでは、SL-SACは最先端のベースラインと比較して、速度タスクの19-63%のコスト削減を実現している。
  論文  参考訳（メタデータ） (2026-01-31T08:06:35Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback [57.6775169085215]
  リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。 本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。 本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
  論文  参考訳（メタデータ） (2023-07-06T08:14:54Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Risk-Averse No-Regret Learning in Online Convex Games [19.4481913405231]
  リスク回避エージェントを備えたオンラインゲームは,コストの大幅な増大のリスクを最小限に抑える最適な決定を学習することを目的としている。 コスト関数の分布は一般に観測不可能なすべてのエージェントの作用に依存するため、コストの条件付値(CVaR)の計算は困難である。 CVaR値を用いて計算したCVaR勾配の1点ゼロ次推定に依存する新しいオンラインリスク逆学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-16T21:36:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。