Fugu-MT 論文翻訳(概要): DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training

論文の概要: DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training

arxiv url: http://arxiv.org/abs/2606.30345v1
Date: Mon, 29 Jun 2026 14:20:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:16.27664
Title: DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training
Title（参考訳）: DRIFT:Rhythm-Gated ExplorationとSuccess Buffer Trainingによる自己蒸留の難しさ
Abstract要約: DRIFTは、大規模言語モデルのためのオンライン自己進化ポリシー最適化フレームワークである。これは、難易度ルーティングとリズムゲーティングを併用することで、モデルの自己改善プロセスを規制する。 5つのベンチマークと3つのモデルスケールで評価し、DRIFTはGRPOとSDPOのピーク性能を上回った。
参考スコア（独自算出の注目度）: 12.82389963785782
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Enabling large language models to achieve stable self-improvement without external expert supervision remains a central challenge in complex reasoning tasks. Existing self-distillation and reinforcement learning methods lack explicit mechanisms for tracking problem-level learning progress and adapting optimization strategies accordingly. Consequently, training may over-optimize easy problems, receive weak supervision from hard problems, and fail to sufficiently explore borderline cases. To resolve these issues, we propose DRIFT, an online self-evolution policy optimization framework for large language models. DRIFT regulates the model's self-improvement process through the joint use of Difficulty Routing and Rhythm Gating. The former identifies the model's learning state at the problem level and dynamically allocates self-distillation and reinforcement learning signals, while the latter refines policy updates at the token level, concentrating exploration on critical reasoning positions. By further incorporating a success buffer and a two-stage curriculum learning strategy, DRIFT preserves high-quality historical experience while progressively guiding the model from reliable behavior acquisition toward stable policy evolution. Evaluated across five benchmarks and three model scales, DRIFT surpasses the peak performance of both GRPO and SDPO across all evaluated metrics. On the average score over the five benchmarks, DRIFT achieves 79.5$\%$, outperforming GRPO by 9.5$\%$ and SDPO by 7.5$\%$, establishing a new state-of-the-art result. Notably, on ToolUse, DRIFT reaches an accuracy of 79.2$\%$, improving over GRPO by 13.5$\%$ and SDPO by 10.7$\%$, setting a new state-of-the-art and substantially outperforming all concurrent methods.
Abstract（参考訳）: 外部の専門家の監督なしに安定した自己改善を実現するために、大規模な言語モデルを構築することは、複雑な推論タスクにおいて中心的な課題である。既存の自己蒸留法と強化学習法は、問題レベルの学習進捗を追跡し、それに応じて最適化戦略を適用するための明確なメカニズムを欠いている。その結果、訓練は簡単な問題を過度に最適化し、難しい問題から弱い監督を受け、境界線のケースを十分に探索することができない。これらの問題を解決するために,大規模言語モデルのためのオンライン自己進化ポリシー最適化フレームワークであるDRIFTを提案する。 DRIFTは、Difficulty RoutingとRhythm Gatingを併用することで、モデルの自己改善プロセスを規制している。前者は問題レベルでモデルの学習状態を識別し、自己蒸留および強化学習信号を動的に割り当て、後者はトークンレベルでポリシー更新を洗練し、臨界推論位置の探索に集中させる。さらに、成功バッファと2段階のカリキュラム学習戦略を取り入れることで、DRIFTは、信頼性の高い行動獲得から安定した政策進化へとモデルを段階的に導くとともに、高品質な歴史的経験を保ちます。 DRIFTは5つのベンチマークと3つのモデルスケールで評価され、すべての評価指標でGRPOとSDPOのピークパフォーマンスを上回っている。 5つのベンチマークの平均スコアでは、DRIFTは79.5$\%$を達成し、GRPOを9.5$\%$、SDPOを7.5$\%$で上回り、新しい最先端の結果を確立する。特に ToolUse では、DRIFT の精度は 79.2$\%$ に達し、GRPO を 13.5$\%$ に、SDPO を 10.7$\%$ に改善し、新しい最先端のメソッドを設定し、全ての並行メソッドを大幅に上回っている。

関連論文リスト

Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems [70.94268452442147]
検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善した。本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。本稿では,Cag-DRIFTについて紹介する。このフレームワークは改良された変種を構築し,適応的なカリキュラムに編成する。
論文参考訳（メタデータ） (2026-04-06T15:38:38Z)
Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
論文参考訳（メタデータ） (2026-04-02T17:29:18Z)
ROAD: Reflective Optimization via Automated Debugging for Zero-Shot Agent Alignment [1.6968020497268546]
ROADは、最適化を検索ではなく動的デバッグ調査として扱う新しいフレームワークである。道路はサンプリング効率が高く、成功率は5.6%、検索精度は3.8%向上している。これらの結果は、ヒューマンエンジニアリングの失敗分析とパッチングのループを模倣することで、リソース集約的なトレーニングに代わる、実行可能なデータ効率の代替が可能になることを示唆している。
論文参考訳（メタデータ） (2025-12-30T07:31:34Z)
Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
論文参考訳（メタデータ） (2025-10-30T11:53:08Z)
Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail [85.47497935739936]
Alpamayo-R1 (AR1) は、因果推論の連鎖と軌道計画を統合する視覚言語モデルである。また,AR1は,軌道のみのベースラインに比べて,難問の計画精度が12%向上することを示した。今後のアップデートで、AR1モデルとCoCのサブセットをリリースする予定です。
論文参考訳（メタデータ） (2025-10-30T01:25:34Z)
Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning [49.290631188365786]
Scaf-GRPOは、モデルの独立した学習が停滞した時に介入するトレーニングフレームワークである。これはQwen2.5-Math-7Bモデルのパス@1スコアを、バニラGRPOベースラインよりも44.3%向上させる。この結果から、我々のフレームワークは、それまで到達範囲を超えていた問題を解決するモデルの能力を解き放つ、堅牢で効果的な方法論を提供することを示した。
論文参考訳（メタデータ） (2025-10-22T17:41:30Z)
DARO: Difficulty-Aware Reweighting Policy Optimization [18.07946696398167]
RLVR(Reinforcement Learning with Verifiable Rewards)の事実上のアプローチとしてグループ相対政策最適化(GRPO)が登場した。サンプルの難易度に結びついた静的あるいは過度に単純化された重み付けスキームへの依存が、モデルの進化する機能への適応を妨げていることを示す統一ビューを提供する。本稿では,bfbfDifficulty-Aware Reweighting Policy Optimization (DARO)を紹介する。
論文参考訳（メタデータ） (2025-10-10T04:57:15Z)
Pentest-R1: Towards Autonomous Penetration Testing Reasoning Optimized via Two-Stage Reinforcement Learning [12.155067662797281]
Pentest-R1は、侵入テストタスクの推論機能を最適化するために設計されたフレームワークである。環境フィードバックから直接学習し、堅牢なエラー自己補正と適応戦略を開発する。 AutoPenBenchでは、Pentest-R1は24.2%の成功率に達し、ほとんどの最先端モデルを上回っている。
論文参考訳（メタデータ） (2025-08-10T15:14:05Z)
SEEA-R1: Tree-Structured Reinforcement Fine-Tuning for Self-Evolving Embodied Agents [58.174206358223415]
自己進化型エボダイドエージェント(SeEA-R1)は、自己進化型エボダイドエージェント用に設計された最初の強化微細調整フレームワークである。本研究は,SEEA-R1が自律適応と報酬駆動型自己進化をサポートすることを示す。
論文参考訳（メタデータ） (2025-06-26T18:00:07Z)
From Imitation to Exploration: End-to-end Autonomous Driving based on World Model [24.578178308010912]
RAMBLEは、意思決定を駆動するエンド・ツー・エンドの世界モデルベースのRL方式である。複雑な動的トラフィックシナリオを処理できる。 CARLA Leaderboard 1.0では、ルート完了率の最先端のパフォーマンスを達成し、CARLA Leaderboard 2.0では38のシナリオをすべて完了している。
論文参考訳（メタデータ） (2024-10-03T06:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。