論文の概要: From Trajectories to Prefixes: Reusing Teacher Trajectories via Replayed Prefixes and Online Continuation

• arxiv url: http://arxiv.org/abs/2607.19395v1
• Date: Fri, 03 Jul 2026 05:07:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.152353
• Title: From Trajectories to Prefixes: Reusing Teacher Trajectories via Replayed Prefixes and Online Continuation
• Title（参考訳）: トラジェクトリからプレフィックス:リプレイされたプレフィックスとオンライン継続による教師トラジェクトリの再利用
• Abstract要約: Prefix-GRPOは、小さな言語モデルのための強化学習フレームワークである。 教師の軌跡をリプレイアラインのプレフィックスクエリとオンライン継続に分解する。 プレフィックス学習と継続学習を同じポリシー最適化形式に統合する。
• 参考スコア（独自算出の注目度）: 44.217915003266825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small language models are attractive backbones for interactive agents, but direct distillation from strong teacher trajectories often turns rich multi-turn behavior into one-shot imitation targets. This is inefficient in long-horizon environments, where early decisions shape later states and rewards. We propose Prefix-GRPO, a reinforcement learning framework that decomposes teacher trajectories into replay-aligned prefix queries and online continuations. Each prefix is replayed in the environment to recover a valid intermediate state, after which the student continues online interaction and receives task reward. Unlike response-only GRPO, Prefix-GRPO also applies clipped policy updates to historical assistant tokens inside the replayed prefix, using a policy-distilled SFT checkpoint to estimate their old log-probabilities. This unifies prefix learning and continuation learning within the same policy-optimization form. Experiments on TextCraft, BabyAI, and ALFWorld show that Prefix-GRPO improves small-model agents over distillation and standard RL baselines, while ablations show that replay alone is insufficient without explicit prefix-token optimization. The implementation and reproduction scripts are available at https://github.com/HappynessI/Prefix_GRPO.
• Abstract（参考訳）: 小さな言語モデルは対話的なエージェントにとって魅力的なバックボーンであるが、強い教師軌道からの直接蒸留は、リッチなマルチターン動作を1ショットの模倣ターゲットに変えることが多い。 これは、初期の決定が後の状態と報酬を形作るロングホライゾン環境では非効率である。 教師の軌跡をリプレイアラインプレフィックスクエリとオンライン継続に分解する強化学習フレームワークであるPrefix-GRPOを提案する。 各プレフィックスは、有効な中間状態を回復するために環境内で再生され、その後、学生はオンラインインタラクションを継続し、タスク報酬を受け取る。 応答のみのGRPOとは異なり、Prefix-GRPOはリプレイされたプレフィックス内の歴史的なアシスタントトークンにクリップされたポリシー更新を適用する。 これは、プレフィックス学習と継続学習を同じポリシー最適化形式に統合する。 TextCraft、BabyAI、ALFWorldの実験では、Prefix-GRPOは蒸留や標準RLベースラインよりも小さなモデルエージェントを改善している。 実装と再現スクリプトはhttps://github.com/HappynessI/Prefix_GRPO.comで入手できる。

関連論文リスト

• Reason in the Words You Speak: Idiolectal Paraphrasing Off-Policy Traces for Reasoning Distillation in VideoLLMs [45.13932034141772]
  textbfEcho-GRPOを提案する。 我々はこのフレームワークを,ビデオ推論蒸留のためのtextbfVideoEcho-R1 としてインスタンス化する。 我々の慣用句言い換えは、蒸留の推論のためのRLと教師付き微調整フレームワークの両方を一貫して改善するプラグインモジュールである。
  論文  参考訳（メタデータ） (2026-08-27T06:41:08Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• Rank-Then-Act: Reward-Free Control from Frame-Order Progress [5.357451930622806]
  Rank-Then-Act (RTA) は、環境に配慮せず、専門家によるビデオデモからコントロールポリシーを学ぶためのフレームワークである。 VLM(Vision-Language Model)をオフラインで,プログレッシブベースのオーディショナルスコアラーとしてトレーニングする。 我々は,予測進行ランクと真の時間指標とのスピアマンランク相関を計算し,有界でスケール不変な学習信号を生成する。
  論文  参考訳（メタデータ） (2026-07-02T08:50:32Z)
• Speculative Rollback Correction for Quality-Diverse Web Agent Imitation [43.603850569331975]
  専門家の軌道から模倣学習を通じて対話型Webエージェントを訓練することは、非常に効果的なアプローチとして現れている。 リセット可能なエージェント環境のためのブランチレベルの模倣フレームワークであるSRC(Speculative Rollback Correction)を提案する。
  論文  参考訳（メタデータ） (2026-06-10T08:56:27Z)
• GAPD: Gold-Action Policy Distillation for Agentic Reinforcement Learning in Knowledge Base Question Answering [64.23115520219609]
  結果に基づくRLに高密度トークンレベルガイダンスを付加する訓練時間金反応政策蒸留フレームワークを提案する。 GAPDはWebQSP、GrailQA、GraphQの最先端技術に一貫して勝っている。
  論文  参考訳（メタデータ） (2026-05-28T08:28:10Z)
• Find, Fix, Reason: Context Repair for Video Reasoning [45.021693494492666]
  強化学習は、大規模なマルチモーダルモデルにおいて高度なビデオ推論を持つ。 凍結したツール統合された教師は、時間的依存の欠如を認識し、最小限のエビデンスパッチを提供する。 本稿では,正解による結果の妥当性と依存性の整合性という2つの目標に最適化を整合させるロバスト改善リワード(RIR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T17:04:19Z)
• PDR: A Plug-and-Play Positional Decay Framework for LLM Pre-training Data Detection [30.13331191100816]
  大規模言語モデル(LLM)における事前学習データを検出するトレーニングフリーでプラグアンドプレイのフレームワークであるPDRを導入する。 PDRはトークンレベルのスコアを明示的に強調し、初期位置からの異なる信号を増幅し、後の位置からのノイズを抑制する。
  論文  参考訳（メタデータ） (2026-01-11T09:32:13Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation [77.47617360812023]
  我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。 最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。 第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
  論文  参考訳（メタデータ） (2022-07-30T14:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。