Fugu-MT 論文翻訳(概要): Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target

論文の概要: Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target

arxiv url: http://arxiv.org/abs/2610.12830v1
Date: Fri, 09 Oct 2026 00:29:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-13 04:06:29.328915
Title: Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target
Title（参考訳）: クロスビヘイビア政策最適化: オフラインデモからの統一学習と共有回帰ターゲットによるオン・オフ・オフ・ロールアウト
Abstract要約: トレーニング後の推論は、オフラインのデモとポリシー生成のロールアウトで引き起こされる。本稿では,固定参照ターゲットによる1つの回帰損失と整合性を持たせるCBPOを提案する。 CBPO-Unifiedはベンチマーク平均の textttavg@32 と textttpass@32 を SFT DAPO でそれぞれ 2.33 と 4.44 のポイントで改善している。
参考スコア（独自算出の注目度）: 9.562572730912827
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reasoning post-training draws on offline demonstrations and policy-generated rollouts, yet conventional supervised fine-tuning (SFT) followed by reinforcement learning (RL) separates their objectives and limits continued reuse of collected responses. We propose \textbf{Cross-Behavior Policy Optimization} (CBPO), which makes these sources compatible with one regression loss through a fixed-reference target. Because the generating policy does not enter this target, positive and negative offline completions, reference responses, and current and historical rollouts can share a common reward-labeled record format and replay buffer. As new responses enter the buffer, optimization retains the same regression objective without coordinating separate SFT and RL objectives or requiring stored behavior-policy probabilities, importance weighting, or a learned critic. Restricting the available sources gives offline, on-policy, and off-policy variants, while CBPO-Unified combines them. Across two model scales and four mathematical reasoning benchmarks, CBPO delivers leading \texttt{avg@32} and \texttt{pass@32} performance across benchmarks and data regimes. On Qwen3-1.7B, CBPO-Unified improves benchmark-averaged \texttt{avg@32} and \texttt{pass@32} over SFT DAPO by 2.33 and 4.44 percentage points, respectively. In the replay ablation, retaining historical rollouts improves these metrics by 1.87 and 3.72 percentage points over the no-history configuration.
Abstract（参考訳）: トレーニング後の推論はオフラインのデモとポリシー生成のロールアウトに影響を及ぼすが、従来の教師付き微調整(SFT)と強化学習(RL)はそれらの目的を分離し、収集された応答の継続的な再利用を制限する。本稿では,固定参照ターゲットによる1つの回帰損失に適合させるCBPO(textbf{Cross-Behavior Policy Optimization)を提案する。このターゲットには生成ポリシが入らないため、正および負のオフライン補完、参照応答、および現在の履歴ロールアウトは、共通の報酬ラベル付きレコードフォーマットを共有し、バッファを再生することができる。新しい応答がバッファに入ると、最適化は異なるSFTとRLの目標を調整することなく同じ回帰目標を保持し、保存された行動-政治確率、重み付け、あるいは学習された批判を必要とする。利用可能なソースの制限は、オフライン、オン・ポリティクス、およびオフ・ポリティクスのバリエーションを与えるが、CBPO-Unifiedはそれらを組み合わせている。 2つのモデルスケールと4つの数学的推論ベンチマークにまたがって、CBPOはベンチマークとデータレシエーションでリードする \texttt{avg@32} と \texttt{pass@32} のパフォーマンスを提供する。 Qwen3-1.7Bでは、CBPO-Unified はベンチマーク平均の \texttt{avg@32} と \texttt{pass@32} を SFT DAPO でそれぞれ 2.33 と 4.44 で改善している。リプレイアブレーションでは、歴史的ロールアウトを維持することで、履歴のない構成よりも、これらの指標を1.87と3.72ポイント改善する。

関連論文リスト

One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文参考訳（メタデータ） (2026-05-21T08:25:27Z)
DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
論文参考訳（メタデータ） (2026-05-17T07:14:44Z)
Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文参考訳（メタデータ） (2026-05-12T16:44:47Z)
REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-03-17T21:19:08Z)
BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
論文参考訳（メタデータ） (2025-10-21T12:55:04Z)
Single-stream Policy Optimization [21.214853668053234]
SPO(Single-stream Policy Optimization)を導入する。 SPOはグループ単位のベースラインを永続的なKL適応値トラッカーに置き換え、バッチ全体にわたってメリットを標準化する。グループフリーであるため、SPOはより高いスループットと、長い水平またはツール統合された設定で効果的にスケールすることができる。
論文参考訳（メタデータ） (2025-09-16T16:39:11Z)
Harnessing Mixed Offline Reinforcement Learning Datasets via Trajectory Weighting [29.21380944341589]
我々は、最先端のオフラインRLアルゴリズムが低リターントラジェクトリによって過剰に抑制され、トラジェクトリを最大限活用できないことを示す。この再加重サンプリング戦略は、任意のオフラインRLアルゴリズムと組み合わせることができる。私たちは、CQL、IQL、TD3+BCがこの潜在的なポリシー改善の一部しか達成していないのに対して、これらの同じアルゴリズムがデータセットを完全に活用していることを実証的に示しています。
論文参考訳（メタデータ） (2023-06-22T17:58:02Z)
Offline Reinforcement Learning with Adaptive Behavior Regularization [1.491109220586182]
オフライン強化学習(RL)は、静的で以前に収集されたデータセットからポリシーを学習する、サンプル効率のよい学習パラダイムを定義する。適応行動正規化(Adaptive Behavior regularization, ABR)と呼ばれる新しい手法を提案する。 ABRは、データセットの生成に使用するポリシーのクローン化と改善の間に、ポリシーの最適化目標を適応的に調整することを可能にする。
論文参考訳（メタデータ） (2022-11-15T15:59:11Z)
Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
論文参考訳（メタデータ） (2022-10-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。