論文の概要: SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling

• arxiv url: http://arxiv.org/abs/2608.02951v1
• Date: Mon, 03 Aug 2026 23:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.962774
• Title: SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling
• Title（参考訳）: SP3O: 回帰モデリングなしでセグメント選好から強化学習
• Abstract要約: 本稿では,Segment Pairwise Proximal Policy Optimization (SP3O) というセグメント選好に適合する新しい報酬モデルフリー,批判フリー,勾配ベースPbRLアルゴリズムを提案する。 アルゴリズムの理論的基盤を提供し、セグメント長を選択する際のトレードオフを分析する。
• 参考スコア（独自算出の注目度）: 13.20526811256771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Preference-based reinforcement learning (PbRL) for general stochastic MDPs often requires training a reward model. Existing reward-model-free methods are either restricted to bandits or deterministic MDPs, such as DPO or P3O, or use zeroth-order, gradient-free optimization, which in general exhibits a slower convergence rate than gradient-based algorithms. Furthermore, existing reward-model-free preference-based RL algorithms almost exclusively use trajectory-level feedback, which can require significant effort from a human evaluator when trajectories are long. On the other hand, segments are much shorter, so they are easier to compare and evaluate. In this paper, we introduce a novel reward-model-free, critic-free, and gradient-based PbRL algorithm compatible with segment preferences named Segment Pairwise Proximal Policy Optimization (SP3O). SP3O utilizes segment-level preference feedback to construct an accurate policy value difference estimator via off-policy importance sampling, and then uses the estimator to compute the policy gradient via a PPO-type loss function. We provide a theoretical basis for the algorithm and analyze the tradeoff in choosing the segment length. We also evaluate it experimentally against other PbRL/RLHF algorithms in robotic control and LLM finetuning settings to show its improved performance, especially in long-horizon tasks.
• Abstract（参考訳）: 一般確率MDPに対する優先型強化学習(PbRL)は、しばしば報酬モデルを訓練する必要がある。 既存の報酬モデルなしの手法は、DPOやP3Oのようなバンディットや決定論的 MDP に制限されるか、あるいはゼロ階の勾配のない最適化を用いる。 さらに、既存の報酬モデルなしの嗜好に基づくRLアルゴリズムは、軌道レベルのフィードバックをほぼ完全に使用しており、軌道が長い場合、人間の評価者からかなりの労力を要す可能性がある。 一方、セグメントははるかに短く、比較や評価が容易である。 本稿では,Segment Pairwise Proximal Policy Optimization (SP3O) と呼ばれるセグメント選好と互換性のある,報酬モデルのない,批判のない,勾配に基づくPbRLアルゴリズムを提案する。 SP3Oは、セグメントレベルの嗜好フィードバックを用いて、オフポリシーの重要度サンプリングを通じて正確なポリシー値差推定器を構築し、その後、PPO型損失関数を介してポリシー勾配を計算する。 アルゴリズムの理論的基盤を提供し、セグメント長を選択する際のトレードオフを分析する。 また,ロボット制御における他のPbRL/RLHFアルゴリズムとLLMファインタニング設定を比較検討し,特に長期作業における性能向上を示す。

関連論文リスト

• PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF [20.068789951726078]
  ヒューマンフィードバックからの強化学習は、アクターの実践的な代替手段である。 既存の批判のないアプローチは、軌跡内の全てのトークンに対して一様に軌道レベルの学習信号を伝達する。 本稿では,RLHF に対する計算効率のよい批判的手法であるprefix-Sampling Proximal Policy Optimization (PS-PPO) を提案する。
  論文  参考訳（メタデータ） (2026-06-29T04:04:32Z)
• PAWS: Preference Learning with Advantage-Weighted Segments [61.590521943273]
  本稿では,セグメントレベルの優位関数を用いて,ポリシー更新を直接行うセグメントベース優先学習手法を提案する。 シミュレーションされたロボット操作と移動タスクの実験は、PAWSが既存のPbRLアプローチを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-10T12:00:17Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference [15.038210624870656]
  リワード推論は、ヒューマンフィードバックパイプラインからの強化学習における重要な中間ステップである。 本稿では,帯域幅を超える一般RL問題と決定論的MDP帯域幅,Bradley-Terryモデルを超える一般選好モデルについて,報酬推論のない2つのRLHFアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-09-25T22:20:11Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Contrastive Preference Learning: Learning from Human Feedback without RL [71.77024922527642]
  本稿では、報酬関数を学習せずに好みから最適なポリシーを学習するアルゴリズムであるContrastive Preference Learning (CPL)を紹介する。 CPLは完全に非政治的であり、単純なコントラスト目的のみを使用し、任意のMDPに適用できる。
  論文  参考訳（メタデータ） (2023-10-20T16:37:56Z)
• Pairwise Proximal Policy Optimization: Harnessing Relative Feedback for LLM Alignment [37.52249093928251]
  本稿では,新しい枠組み,相対的フィードバックによる強化学習,新しい軌道方向ポリシー勾配アルゴリズムを提案する。 理論的には、P3Oは等価報酬に不変であり、PPOの複雑さを避ける。 実証的な評価では、P3OはKL-RewardトレードオフにおいてPPOよりも優れており、ヒトの嗜好に合わせたり、以前の方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2023-09-30T01:23:22Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。