論文の概要: Instruction-Conditioned Exploration for Reinforcement Learning with Self-Distillation to an Unconditioned Policy

• arxiv url: http://arxiv.org/abs/2608.02087v2
• Date: Wed, 05 Aug 2026 10:09:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.154853
• Title: Instruction-Conditioned Exploration for Reinforcement Learning with Self-Distillation to an Unconditioned Policy
• Title（参考訳）: 自己拡張型強化学習の無条件政策への指導要領探索
• Abstract要約: 強化学習(RL)による学習後の大規模言語モデル(LLM)は、モデル機能を改善するための重要なツールとなっている。 Instruction-Conditioned Exploration (ICE) を提案する。
• 参考スコア（独自算出の注目度）: 4.145125843894074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training Large Language Models (LLMs) with Reinforcement Learning (RL) has become an important tool for improving model capabilities, but the LLM action-space structure introduces challenges distinct from classical RL, with implications for inducing exploration. New methods are required that leverage the broad knowledge and flexibility of pre-trained LLMs to deliberately generate diverse experience at training time. We propose Instruction-Conditioned Exploration (ICE), which appends one of a small fixed set of instructions to task prompts during training, using the same set for every problem, increasing the coverage of behaviours attempted. To facilitate ICE, we combine RL on the instruction-conditioned policy with self-distillation of its correct rollouts into the unconditioned test-time policy. ICE with this objective improves Qwen3-1.7B held-out pass@1 performance at 4K response length on mathematical reasoning tasks by $5.0\%$ relative to training with DAPO, with improvement persisting at a longer 8K context. The improvement does not appear for Qwen3-4B at 4K, where the instructions do not expand base-model coverage.
• Abstract（参考訳）: 強化学習(RL)を用いた後学習型大規模言語モデル(LLM)は,モデル能力向上のための重要なツールとなっている。 事前学習されたLLMの幅広い知識と柔軟性を活用して、トレーニング時に多種多様な経験を意図的に生成する新しい手法が求められている。 Instruction-Conditioned Exploration (ICE) を提案する。これは、トレーニング中のタスクプロンプトに対して、同じセットを全ての問題に使い、試みられた行動のカバレッジを増大させる。 ICEを容易にするために、命令条件付きポリシー上のRLと正しいロールアウトの自己蒸留を無条件テストタイムポリシーに組み合わせる。 この目的のICEは、Qwen3-1.7Bのホールドアウトパス@1パフォーマンスを4K応答長で改善し、DAPOによるトレーニングと比較して5.0\%のコストで改善し、より長い8Kコンテキストで継続する。 4KではQwen3-4Bでは改善は見られず、ベースモデルカバレッジは拡張されない。

関連論文リスト

• SEIF: Self-Evolving Reinforcement Learning for Instruction Following [53.280277743734096]
  大規模言語モデル(LLM)の指示追従能力を高める自己進化型フレームワークSEIFを提案する。 SEIFは閉じた自己進化ループを形成し、モデルの命令追従能力を改善する。 複数のモデルスケールとアーキテクチャの実験により、SEIFは命令追従性能を一貫して改善し、強い汎用性を示唆している。
  論文  参考訳（メタデータ） (2026-05-08T09:13:12Z)
• Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents [24.99615788156812]
  Skill-SDはエージェント自身の軌道を動的トレーニングのみの監視に変換するフレームワークである。 我々は, 重み付き逆KL損失を導出し, 勾配補正型トークンレベルの蒸留を行った。 エージェントベンチマークの実験結果は、Skill-SDが標準RLベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-12T14:57:52Z)
• UpSkill: Mutual Information Skill Learning for Structured Response Diversity in LLMs [28.526758776988256]
  本稿では,相互情報スキル学習を大規模言語モデルに適用する訓練時間手法であるUpSkillを紹介する。 以上の結果から,UpSkillはより強力なベースモデル上でのマルチタスクのメトリクスを改善することを示す。 pass@kの改善が相互情報目的と密接に結びついているという実証的証拠と理論的証拠の両方を見いだす。
  論文  参考訳（メタデータ） (2026-02-25T15:34:14Z)
• Reasoning Cache: Continual Improvement Over Long Horizons via Short-Horizon RL [34.12869266614113]
  トレーニングと推論の両方で標準の自己回帰復号を置き換える反復復号アルゴリズムであるRCを導入する。 RCは、LCMの応答生成と要約能力の間の非対称性を利用して、一貫して改善する推論連鎖を構築する。 16k-tokenのトレーニング予算を使って4BモデルをRCでトレーニングすると、テスト時に0.5mトークンでHMMT 2025のパフォーマンスが40%から70%近く向上する。
  論文  参考訳（メタデータ） (2026-02-03T17:34:04Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models [73.10315509190623]
  最近の強化学習技術は、言語モデルにおいて顕著な推論改善をもたらした。 ポストトレーニングが、事前トレーニング中に取得したものを超えて、モデルの推論能力を真に拡張するかどうかは不明だ。 プレトレーニング,ミッドトレーニング,およびRLベースのポストトレーニングの因果的貢献を分離する,完全に制御された実験フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-08T18:12:10Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Accelerating Reinforcement Learning Algorithms Convergence using Pre-trained Large Language Models as Tutors With Advice Reusing [5.414308305392762]
  大規模言語モデル (LLM) は、強化学習 (RL) アルゴリズムを用いた学生-教師アーキテクチャの家庭教師である。 以上の結果から,LLMのチュータリングはRLの収束を著しく促進し,最適性能の維持を図っている。 アドバイス再利用機構は、トレーニング期間をさらに改善するだけでなく、より安定した収束ダイナミクスをもたらす。
  論文  参考訳（メタデータ） (2025-09-10T07:08:04Z)
• Breaking the Exploration Bottleneck: Rubric-Scaffolded Reinforcement Learning for General LLM Reasoning [46.610146536866445]
  大規模言語モデル(LLM)は、推論能力の出現を促進するために強化学習(RL)の可能性を強調している。 本稿では,一般的な推論のための探索ボトルネックを解消するために,Scaffolded Reinforcement Learning (RuscaRL)を提案する。 我々は、RuscaRLがQwen2.5-7B-InstructをHealthBench-500で23.6から50.3に大幅に向上し、GPT-4.1を上回っていることを示した。
  論文  参考訳（メタデータ） (2025-08-23T08:47:31Z)
• Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling [66.0871543682453]
  我々はOmni-Thinkerについて紹介する。Omni-Thinkerは多種多様なタスクにわたって大きな言語モデルをスケールする統合強化学習フレームワークである。 我々のスケジューラは,BWTに基づいてタスクを順序付けし,マルチタスク性能を向上する。
  論文  参考訳（メタデータ） (2025-07-20T01:50:16Z)
• Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
  本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-07-16T17:59:24Z)
• RAG-R1 : Incentivize the Search and Reasoning Capabilities of LLMs through Multi-query Parallelism [10.288667305064065]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 LLMは、静的な内部知識のために、幻覚または時代遅れの応答を生成する傾向にある。 Retrieval-Augmented Generation(RAG)法の最近の進歩は、モデルの探索と推論能力の向上を目的としている。
  論文  参考訳（メタデータ） (2025-06-30T09:02:45Z)
• SeRL: Self-Play Reinforcement Learning for Large Language Models with Limited Data [65.56911325914582]
  限られた初期データを用いたLarge Language Models (LLM) トレーニングのブートストラップとして,SeRL(Se-play Reinforcement Learning)を提案する。 提案したSeRLは、その結果よりも優れ、検証可能な報酬を持つ高品質なデータと同等の性能が得られる。
  論文  参考訳（メタデータ） (2025-05-25T13:28:04Z)
• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)
• Symmetric Reinforcement Learning Loss for Robust Learning on Diverse Tasks and Model Scales [13.818149654692863]
  強化学習(RL)トレーニングは、移動目標や高勾配分散などの要因により本質的に不安定である。 本研究では,雑音データに対する教師付き学習から逆クロスエントロピー(RCE)を適用し,対称的なRL損失を定義することにより,RLトレーニングの安定性を向上させる。
  論文  参考訳（メタデータ） (2024-05-27T19:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。