論文の概要: PoEM: Predicting RL Outcomes from Existing Policies

• arxiv url: http://arxiv.org/abs/2609.30226v1
• Date: Thu, 24 Sep 2026 17:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.191434
• Title: PoEM: Predicting RL Outcomes from Existing Policies
• Title（参考訳）: PoEM:既存のポリシーによるRLのアウトカム予測
• Abstract要約: 我々は,すでに他の報酬に対してトレーニング済みのモデルセットを用いて,新たな報酬関数上でRLの出力を予測するフレームワークであるPoEMを紹介する。 我々は、テキストと画像のモダリティにまたがって、合成と実の報酬にまたがるアプローチを実験的に検証した。
• 参考スコア（独自算出の注目度）: 36.763606838043096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are post-trained with reinforcement learning (RL) to maximize specific rewards, such as human alignment, correctness, or instruction following. This post-training process is computationally intensive, sometimes unstable, and has to be run from scratch every time the reward model changes or when we want to combine multiple rewards. We hence ask: given a new reward function, is it possible to predict the RL outcomes without actually running RL on it? We answer this in the affirmative by introducing PoEM, a framework to predict the outputs of RL on a new reward function using a set of models already post-trained on other rewards. First, we show that if the new reward function can be written as a linear combination of existing ones, then the new policy in log-space can be written as a linear combination of the existing log-policies. Surprisingly, even in cases where the rewards are not linearly connected, we observe that often log-policies from RL training span an approximately low-rank subspace across rewards. To our benefit, the weighting coefficients for this combination can be estimated using only the reward or basis policy outputs on the samples. We turn these observations into an algorithm that takes post-trained models and a new reward function, and approximates the target RL policy without actually running any additional RL training. We experimentally validate our approach across synthetic and real rewards, spanning both text and image modalities.
• Abstract（参考訳）: 基礎モデルには強化学習(RL)が組み込まれ、人間のアライメント、正当性、指示の追従といった特定の報酬を最大化する。 このポストトレーニングプロセスは、計算集約的で、時には不安定で、報酬モデルが変更される度に、あるいは複数の報酬を組み合わせたいときに、スクラッチから実行されなければなりません。 したがって、新しい報酬関数が与えられたら、実際にRLを実行せずにRLの結果を予測することは可能でしょうか? これは、すでに他の報酬で訓練済みのモデルのセットを使用して、新しい報酬関数上でRLの出力を予測するフレームワークである。 まず、新しい報酬関数を既存の報酬関数の線形結合として書ける場合、ログ空間における新しいポリシーは既存のログポリティクスの線形結合として書けることを示す。 驚いたことに、報酬が線形に連結されていない場合であっても、RLトレーニングからのログポリケーションが報酬全体にわたってほぼ低ランクのサブスペースにまたがっていることが観察される。 この組み合わせの重み付け係数は, 試料の報酬あるいは基本方針出力のみを用いて推定できる。 これらの観測結果を,学習後モデルと新たな報酬関数を取り入れたアルゴリズムに変換し,目標とするRLポリシーを実際に追加のRLトレーニングを実行することなく近似する。 我々は、テキストと画像のモダリティにまたがって、合成と実の報酬にまたがるアプローチを実験的に検証した。

関連論文リスト

• Tail-Likelihood Reinforcement Learning [63.90013981311359]
  Tail-Likelihood Reinforcement Learning (TailRL)は、ランダムに選択された報酬閾値を超える対数確率を最大化する。 TailRLは、利点関数に簡単な修正しか必要とせず、既存の強化学習パイプラインと互換性がある。
  論文  参考訳（メタデータ） (2026-09-02T14:54:45Z)
• Demystifying Reinforcement Learning Post-Training of Language Models [32.79823433295599]
  強化学習(RL)ポストトレーニングは,大規模言語モデル(LLM)の能力向上のための強力なフレームワークとして登場した。 しかし、多くの研究者や実践者にとって、古典的RLの背後にある原則は「ブラックボックス」のままである。
  論文  参考訳（メタデータ） (2026-08-24T18:39:45Z)
• Residual Reward Models for Preference-based Reinforcement Learning [11.797520525358564]
  優先度に基づく強化学習(PbRL)は、報酬信号の特定が難しい環境で、高性能なポリシーを学習する方法を提供する。 PbRLは報酬モデルでのトレーニングを必要とするため、収束速度が遅い。 本稿では,Residual Reward Model (RRM) を用いた事前知識の有効活用手法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T09:43:57Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• ELO-Rated Sequence Rewards: Advancing Reinforcement Learning Models [3.8616427106430677]
  ELO-Rating based Reinforcement Learning (ERRL) という新たな報酬推定アルゴリズムを提案する。 まず、各軌道のELO評価を報酬として計算するために、基数報酬(ユーティリティ)ではなく、軌跡よりも専門的な選好を使用する。 第2に、固定アンカー報酬がない場合のトレーニング不安定を軽減するために、新たな報奨再分配アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-09-05T07:14:03Z)
• Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
  本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。 我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
  論文  参考訳（メタデータ） (2023-08-23T17:37:51Z)
• Is RLHF More Difficult than Standard RL? [31.972393805014903]
  ヒューマンフィードバック(RLHF)からの強化学習は優先信号から学習し、標準強化学習(RL)は報酬信号から直接学習する。 理論的には、幅広い選好モデルに対して、我々は、報酬に基づくRLのアルゴリズムと技法を直接的に解き、少ないか、余分なコストで解決できることを証明している。
  論文  参考訳（メタデータ） (2023-06-25T03:18:15Z)
• On Reward-Free Reinforcement Learning with Linear Function Approximation [144.4210285338698]
  Reward-free reinforcement learning (RL) は、バッチRL設定と多くの報酬関数がある設定の両方に適したフレームワークである。 本研究では,線形関数近似を用いた報酬のないRLに対して,正と負の両方の結果を与える。
  論文  参考訳（メタデータ） (2020-06-19T17:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。