論文の概要: TREK: Distill to Explore, Reinforce to Refine
- arxiv url: http://arxiv.org/abs/2607.05339v1
- Date: Mon, 06 Jul 2026 17:21:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.252448
- Title: TREK: Distill to Explore, Reinforce to Refine
- Title（参考訳）: TREK:調査継続、リファイン化強化へ
- Abstract要約: 我々は, 模擬ではなく, 探索支援拡張のための蒸留法であるTREK(Teacher-Routed Exploration via Forward KL)を提案する。
検証された出力軌跡しか消費しないため、TREKは外部のブラックボックスの教師、ホワイトボックスの教師、または追加の推論時間コンテキストを持つ同じモデルを使用することができる。
エージェントタスクでは、ALFWorldの成功率は75.8から82.8に、ScienceWorldの成功率は12.5から26.7に上昇する。
- 参考スコア（独自算出の注目度）: 25.02150919466995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Group Relative Policy Optimization (GRPO) is effective when the current policy already samples useful reasoning trajectories, but it stalls on hard prompts whose correct solution modes lie outside the student's on-policy support. We propose TREK (Teacher-Routed Exploration via Forward KL), a simple staged procedure that uses distillation not for imitation but for exploration support expansion. A key advantage of TREK is its generality: because it only consumes verified output trajectories, it can use an external black-box teacher, a white-box teacher, or the same model given additional inference-time context, and it can efficiently identify which hard-prompt samples are most worth consolidating even when teacher internals are unavailable. TREK first identifies prompts where the unaided student has very low pass rate, queries a proposal source to produce verified candidate solutions, keeps the top-$r$ proposals ranked by current student likelihood, applies a short forward-KL phase to pull those verified modes into the student's support, and then returns to standard on-policy GRPO refinement. On mathematical reasoning, TREK with DeepSeek-V4 proposals improves Qwen3 models across all tested scales on AIME 2024 and AIME 2025; for Qwen3-8B, it improves AIME 2025 from 36.9 to 40.3 and AIME 2024 from 47.9 to 51.1 (avg@16), while the self-context variant reaches 38.5 and 49.6 without an external teacher. On agentic tasks, TREK raises ALFWorld success rate from 75.8 to 82.8 and ScienceWorld success rate from 12.5 to 26.7; notably, on the hardest task types, TREK achieves high success rates early in training while unaided GRPO requires substantially more optimization steps to reach comparable levels.
- Abstract（参考訳）: グループ相対政策最適化(GRPO)は、現在の政策が既に有用な推論軌跡をサンプリングしている場合に有効であるが、生徒の政治支援の外側に正しい解法モードがあるハードプロンプトで停止する。
我々は, 模擬ではなく, 探索支援拡張のための蒸留法であるTREK(Teacher-Routed Exploration via Forward KL)を提案する。
TREKの主な利点は、検証された出力軌跡のみを消費するため、外部のブラックボックス教師、ホワイトボックス教師、または推論時間を追加して与えられた同じモデルを使用することができ、教師の内部が利用できない場合でも、どのハードプロンプトサンプルが最も統合に値するかを効率的に特定できることである。
TREKはまず、未合格の生徒がパスレートが非常に低い場合のプロンプトを特定し、検証された候補ソリューションを生成するために提案元を問い合わせ、現在の学生の確率でランク付けされた上位$$の提案を保持し、これらの検証されたモードを学生の支持にプルするために短いフォワードKLフェーズを適用し、次に標準の政府GRPOリファインメントに戻す。
数学的な推論では、DeepSeek-V4 による TREK は AIME 2024 と AIME 2025 の全てのテストスケールで Qwen3 モデルを改善し、Qwen3-8B では AIME 2025 を 36.9 から 40.3 に、AIME 2024 を 47.9 から 51.1 (avg@16) に改善する。
エージェントタスクにおいて、TREKはALFWorldの成功率を75.8から82.8に引き上げ、ScienceWorldの成功率を12.5から26.7に引き上げる。
関連論文リスト
- On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - I-SDPO: Instance-Level Adaptive Self-Distillation Policy Optimization [5.536267204193318]
グループ相対ポリシー最適化は、ロールアウトグループ内の報酬差から学習するが、サンプリングされた応答が正しくない場合に有用な相対信号を受け取らない。
原始的な自己蒸留は、密集したトークンの監督によってこのギャップを埋めることができますが、トレーニングを通じて適用することで、異なる障害モードを生成します。
I-SDPO (Instance-Level Adaptive Self-Distillation Policy Optimization) を導入する。
論文 参考訳（メタデータ） (2026-08-13T08:37:24Z) - Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning [7.657318367266143]
HeuristicEduは、2相パイプラインで、Qwen2.5-7Bをソクラテスのチューリングに合わせる。
訓練はソクラティック・エドゥ(SoccraticEdu)を使い、797人の中国人児童の科学対話をライブプラットフォームから再構築する。
論文 参考訳（メタデータ） (2026-07-25T02:21:32Z) - NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research [5.287668610154937]
トレーニング後のアライメントは、大きな言語モデルの能力に従って、推論と人間の好みを決定する。
この研究は、Qwen3-8Bベース上に構築された完全に透明でアブレーション駆動のポストトレーニングパイプラインであるNebulaExpを提示する。
論文 参考訳（メタデータ） (2026-06-25T07:03:25Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳（メタデータ） (2026-06-16T17:46:02Z) - SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。
我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
論文 参考訳（メタデータ） (2026-06-03T09:08:29Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - fg-expo: Frontier-guided exploration-prioritized policy optimization via adaptive kl and gaussian curriculum [11.537163059885687]
FG-ExPOは,Frontier-Guided Exploration-Prioritized Policy Optimizationの略である。
精度制御KLスケーリング(AKL)は、バッチ平均精度のスムーズな非線形関数により、KLのペナルティ強度を調整する。
我々は6つの主要な数学的推論ベンチマークでDeepSeek-R1-Distill-Qwen-1.5BとQwen3-8B-Baseの評価を行った。
論文 参考訳（メタデータ） (2026-05-12T01:48:48Z) - expo: Exploration-prioritized policy optimization via adaptive kl regulation and gaussian curriculum sampling [11.537163059885687]
2つの軽量プラグインモジュールを用いたExploration-Prioritized Policy Optimization (EXPO)を提案する。
我々は6つの数学的推論ベンチマークでDeepSeek-R1-Distill-Qwen-1.5BとQwen3-8B-Baseの実験を行った。
AIME 2025 pass@32では13.34で、63.33パーセントから76.67パーセントに上昇し、8Bモデルでは平均2.66でパス@32が改善されている。
論文 参考訳（メタデータ） (2026-05-11T03:19:04Z) - Multi-Turn Reinforcement Learning for Tool-Calling Agents with Iterative Reward Calibration [0.0]
マルチターンタスクにおける強化学習を伴う訓練ツール呼び出しエージェントは依然として困難である。
本稿では,MT-GRPO と GTPO を用いて,現実的なカスタマーサービスタスクにおけるツールコールエージェントのトレーニングを行う。
論文 参考訳（メタデータ） (2026-04-03T08:36:03Z) - FIPO: Eliciting Deep Reasoning with Future-KL Influenced Policy Optimization [84.58281577727566]
本稿では,大規模言語モデルにおける推論ボトルネックを克服する強化学習アルゴリズムであるFuture-KL Influenced Policy Optimization (FIPO)を提案する。
FIPOは、割引先KLの分岐をポリシー更新に組み込むことでこの問題に対処し、その後の軌道行動への影響に基づいてトークンを再重み付けする密集した有利な定式化を作成する。
Qwen2.5-32Bで評価され、FIPOは平均チェーン長を約4,000から10,000以上のトークンに拡張し、AIME 2024 Pass@1の精度を50.0%から58.0%に向上させた。
論文 参考訳（メタデータ） (2026-03-20T10:24:50Z) - Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning [55.65738319966385]
我々は、新しいオンラインアルゴリズム、反復的ナッシュポリシー最適化(INPO)を提案する。
従来の方法とは異なり、INPOは個々の応答に対する期待される勝利率を推定する必要性を回避している。
LLaMA-3-8BベースのSFTモデルで、INPOはAlpacaEval 2.0で42.6%、Arena-Hardで37.8%の勝利率を達成した。
論文 参考訳（メタデータ） (2024-06-30T08:00:34Z) - PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation [89.0074567748505]
即時転送可能性(i)を正確に予測する新しい指標と,新しいPoTアプローチ(PANDA)を提案する。
提案手法は,各タスクおよびモデルサイズの平均スコアの2.3%(最大24.1%)でバニラPoTアプローチを一貫して上回り,その3。
論文 参考訳（メタデータ） (2022-08-22T09:14:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。