論文の概要: Provable Zeroth-Order Safe Exploration for Reinforcement Learning from Human Feedback
- arxiv url: http://arxiv.org/abs/2611.07561v1
- Date: Thu, 05 Nov 2026 07:14:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.579005
- Title: Provable Zeroth-Order Safe Exploration for Reinforcement Learning from Human Feedback
- Title（参考訳）: 人間のフィードバックによる強化学習のための確率的ゼロ階安全探索
- Abstract要約: 人間からのフィードバックから安全な強化学習は、無害性の制約を満たすとともに、役に立つことを改善することを目指している。
既存の原始二重アプローチは、実行可能なポリシーに収束するが、トレーニング中に制約違反を防止しない。
我々は、RLHFのより強力な要件、安全な探索について研究し、訓練中に実施されるすべての政策、補助的な探索ポリシーを引き続き実現可能とした。
- 参考スコア（独自算出の注目度）: 14.388467168930054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safe reinforcement learning from human feedback (Safe-RLHF) seeks to improve helpfulness while satisfying harmlessness constraints. Existing primal-dual approaches can converge to feasible policies but do not prevent constraint violations during training. We study a stronger requirement, safe exploration for RLHF, under which every policy executed during training, including auxiliary exploration policies, remains feasible. We propose Zeroth-Order Log-Barrier Policy Gradient (ZO-LBPG), a reward-model-free method that optimizes a log-barrier objective using zeroth-order estimates derived directly from human preferences. To ensure safety under noisy feedback, we combine conservative constraint margin estimates with coupled rollouts and an adaptive step size that prevents updates from crossing constraint boundaries. We prove that, with high probability, all iterates and exploration policies remain strictly feasible, and that ZO-LBPG globally converges to an approximately optimal constrained policy. We establish a sample complexity of $\widetilde{\mathcal O}(\varepsilon^{-6}+d^3\varepsilon^{-5})$ trajectories and $\widetilde{\mathcal O}(\varepsilon^{-8}+d^5\varepsilon^{-7})$ human queries. Experiments on a synthetic CMDP and a language-model alignment task corroborate the training-time safety guarantees.
- Abstract（参考訳）: 人間からのフィードバックからの安全な強化学習(Safe-RLHF)は、無害性の制約を満たすとともに、有用性を改善することを目指している。
既存の原始二重アプローチは、実行可能なポリシーに収束するが、トレーニング中に制約違反を防止しない。
我々は、RLHFのより強力な要件、安全な探索について研究し、訓練中に実施されるすべての政策、補助的な探索ポリシーを引き続き実現可能とした。
人選好から直接導出されるゼロ階次推定値を用いて、ログバリア目標を最適化する報酬モデルなし手法であるゼロ階次ログバリアポリシーグラディエント(ZO-LBPG)を提案する。
ノイズフィードバック下での安全性を確保するため、我々は、保守的制約マージン推定と組み合わせたロールアウトと、更新が制約境界を越えることを防ぐ適応的なステップサイズを組み合わせる。
高い確率で、全ての反復と探索ポリシーは厳密に実現可能であり、ZO-LBPGがほぼ最適に制約されたポリシーにグローバルに収束することを証明する。
我々は,$\widetilde{\mathcal O}(\varepsilon^{-6}+d^3\varepsilon^{-5})$ trajectories と $\widetilde{\mathcal O}(\varepsilon^{-8}+d^5\varepsilon^{-7})$ のサンプル複雑性を確立する。
総合CMDPと言語モデルアライメントタスクの実験は、トレーニング時の安全保証を裏付ける。
関連論文リスト
- Safe Multi-Objective Reinforcement Learning: Zero Constraint Violation and Primal-Averaging Convergence [23.52682293579858]
安全多目的強化学習 (MORL) について, 学習全体を通して拘束力の欠如を伴わない検討を行った。
重要な課題は、制約に違反することなく、未知のダイナミクスと制約コストの下で十分に調査することである。
我々は、実行されたポリシーの安全性を保証する最初のサンプル効率のMORLアルゴリズムを提供する。
論文 参考訳（メタデータ） (2026-10-29T05:47:57Z) - Conformal Policy Control [50.46542384484142]
我々は、安全な参照ポリシーを、最適化されているが未試験のポリシーの確率的規制として使う方法を示す。
保守的な最適化方法とは異なり、ユーザーが正しいモデルクラスを識別したとは仮定しない。
自然言語質問応答から生体分子工学まで,本研究の応用実験は,デプロイ開始当初から安全な探索が可能であることを示唆している。
論文 参考訳（メタデータ） (2026-03-02T18:54:36Z) - Near-Optimal Sample Complexity for Online Constrained MDPs [10.479589616736193]
CMDP(Constrained Markov Decision Processs)は、性能を最適化しながら安全性の制約を強制するために一般的に用いられる。
既存の手法は、しばしば重大な安全違反に悩まされるか、あるいは準最適ポリシーを生成するために高いサンプルの複雑さを必要とする。
本稿では,後悔と制約違反のバランスをとるモデルベース原始双対アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-02-16T05:16:13Z) - A Multiplicative Value Function for Safe and Efficient Reinforcement
Learning [131.96501469927733]
本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。
安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。
安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
論文 参考訳（メタデータ） (2023-03-07T18:29:15Z) - SAUTE RL: Almost Surely Safe Reinforcement Learning Using State
Augmentation [63.25418599322092]
安全性の制約をほぼ確実に(あるいは確率1で)満たすことは、実生活アプリケーションにおける強化学習(RL)の展開に不可欠である。
安全性向上型マルコフ決定プロセス(MDP)の導入による課題に対処する。
Saute MDPがSafe Augmentationの問題を、新機能の異なる視点から見ることができることを示す。
論文 参考訳（メタデータ） (2022-02-14T08:57:01Z) - Conservative and Adaptive Penalty for Model-Based Safe Reinforcement
Learning [31.097091898555725]
実世界の強化学習(RL)エージェントは、報酬目標の最大化に加えて、安全上の制約を満たす必要がある。
モデルベースのRLアルゴリズムは、安全でない現実世界のアクションを減らすことを約束する。
モデルベース安全なRLフレームワークであるCAP(Reserve and Adaptive Penalty)を提案する。
論文 参考訳（メタデータ） (2021-12-14T19:09:14Z) - Safe Exploration for Constrained Reinforcement Learning with Provable
Guarantees [2.379828460137829]
そこで我々は,OPSRL(Optimistic-Pessimistic Safe Reinforcement Learning)アルゴリズムと呼ぶモデルベースの安全なRLアルゴリズムを提案する。
学習中の安全性制約に違反することなく, $tildemathcalO(S2sqrtA H7K/ (barC - barC_b)$ cumulative regretを達成できることを示す。
論文 参考訳（メタデータ） (2021-12-01T23:21:48Z) - Learn Zero-Constraint-Violation Policy in Model-Free Constrained
Reinforcement Learning [7.138691584246846]
本稿では,安全指向エネルギー関数を用いてポリシー更新を限定するセーフセットアクタクリティカル(SSAC)アルゴリズムを提案する。
安全指数は、潜在的に危険な行動のために急速に増加するように設計されている。
我々は、値関数の学習と同様に、モデルのない方法でエネルギー関数を学習できると主張する。
論文 参考訳（メタデータ） (2021-11-25T07:24:30Z) - Adaptive Reward-Free Exploration [48.98199700043158]
提案アルゴリズムは1994年からのFiechterのアルゴリズムの変種と見なすことができる。
さらに、報酬のない探索と最高の政治識別の相対的な複雑さについて検討する。
論文 参考訳（メタデータ） (2020-06-11T09:58:03Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。