論文の概要: TSRL: Trigger-based Supervised Reinforcement Learning for Continual Agent Training

• arxiv url: http://arxiv.org/abs/2610.17726v1
• Date: Tue, 13 Oct 2026 05:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.522072
• Title: TSRL: Trigger-based Supervised Reinforcement Learning for Continual Agent Training
• Title（参考訳）: TSRL:連続エージェントトレーニングのためのトリガーによる強化学習
• Abstract要約: 大規模言語モデル(LLM)エージェントは複雑で多段階的なタスクに優れるが、連続学習中に破滅的な忘れを被る。 監督された微調整はサンプル効率が良いが、深刻な忘れがちであるのに対して、強化学習は事前の能力を保ちながら、専門家の指導なしにゆっくりと収束する。 本稿では,Trigger-based Supervised Reinforcement Learning (TSRL)について紹介する。
• 参考スコア（独自算出の注目度）: 32.34495255523775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents excel at complex, multi-step tasks but suffer from catastrophic forgetting during continual learning--acquiring new skills often degrades previously mastered capabilities. Existing post-training paradigms face a fundamental trade-off: Supervised Fine-Tuning (SFT) is sample-efficient but prone to severe forgetting, while Reinforcement Learning (RL) preserves prior capabilities but converges slowly without expert guidance. To bridge this gap, we introduce Trigger-based Supervised Reinforcement Learning (TSRL), a framework that integrates the strengths of both paradigms through an adaptive, state-dependent expert supervision mechanism. TSRL employs RL as the optimization backbone, activating SFT selectively on "hard states" where the policy fails. Theoretically, we show that restricting supervision to failure states derives an upper bound on the cumulative parameter updates, thereby reducing forgetting compared to full SFT. Empirically, TSRL achieves consistent gains across three agent benchmarks (ALFWorld, WebShop, and Deep Search) at both 7B and 32B scales. In continual learning scenarios, our method retains up to 9.6 points more capability on prior tasks than SFT->RL baselines, while matching or exceeding target-task performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは複雑で多段階的なタスクに優れるが、継続的な学習中に破滅的な忘れに苦しむ。 Supervised Fine-Tuning (SFT) はサンプル効率が高いが、深刻な忘れがちであるのに対して、Reinforcement Learning (RL) は事前の能力を保ちながら、専門家の指導なしにゆっくりと収束する。 このギャップを埋めるために、我々はTrigger-based Supervised Reinforcement Learning (TSRL)を紹介します。 TSRLは最適化バックボーンとしてRLを使用し、SFTはポリシーが失敗する「ハード状態」を選択的に活性化する。 理論的には, 故障状態に対する監督の制限は累積パラメータ更新の上限に起因し, 完全なSFTに比べて忘れを少なくすることを示す。 実証的には、TSRLは7Bと32Bのスケールで3つのエージェントベンチマーク(ALFWorld、WebShop、Deep Search)で一貫したゲインを達成する。 連続学習シナリオでは,本手法はSFT->RLベースラインよりも先行タスクにおいて最大9.6ポイントの能力を維持しつつ,目標タスク性能のマッチングや超過を実現している。

関連論文リスト

• When RL Fails after SFT: Rejuvenating Model Plasticity for Robust SFT-to-RL Handoff [26.877673871807612]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、Large Language Model (LLM) のポストトレーニングの標準パイプラインとなっている。 我々は,SFTが獲得した有用な先行情報を保存しながら,可塑性を回復する簡易かつ効果的な方法であるtextttRejuvenation を提案する。
  論文  参考訳（メタデータ） (2026-06-07T17:58:58Z)
• Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning [8.550698116833123]
  推論LDMの訓練後は通常、オフラインのSFTステージとオンラインの強化学習ステージで構成される。 同一のRLトレーニングの後、より強力なSFTチェックポイントのモデルの方が、より弱いモデルよりもはるかに性能が低いことを示す。 本稿では、このミスマッチを補正し、RLのモデルを改善するSFT段法であるPEARを提案する。
  論文  参考訳（メタデータ） (2026-02-01T06:53:45Z)
• Trust-Region Adaptive Policy Optimization [82.09255251747818]
  後学習法は,大規模言語モデル(LLM)の複雑な推論能力の向上に重要な役割を果たしている。 トレーニングインスタンス毎に,Fun-Tuning(SFT)とReinforcement Learning(RL)をインターリーブするフレームワークであるTRAPOを紹介する。 5つの数学的推論ベンチマークの実験は、TRAPOが標準SFT、RL、SFT-then-RLパイプラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-19T14:37:07Z)
• Rethinking Expert Trajectory Utilization in LLM Post-training [35.018182540417236]
  我々は,この景観を基盤として,プラスチック・シーリング・フレームワークを提案する。 逐次SFT-then-RLパイプラインを優れた標準として確立する。 本研究は,専門家軌道から抽出した値の最大化のための実用的なガイドラインを提供する。
  論文  参考訳（メタデータ） (2025-12-12T11:13:00Z)
• On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models [73.10315509190623]
  最近の強化学習技術は、言語モデルにおいて顕著な推論改善をもたらした。 ポストトレーニングが、事前トレーニング中に取得したものを超えて、モデルの推論能力を真に拡張するかどうかは不明だ。 プレトレーニング,ミッドトレーニング,およびRLベースのポストトレーニングの因果的貢献を分離する,完全に制御された実験フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-08T18:12:10Z)
• Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning [49.22815446849924]
  大規模言語モデル(LLM)は多段階推論を必要とする問題に悩まされることが多い。 小規模なオープンソースモデルでは、正しいソリューションがほとんどサンプリングされない場合には、RLVR(Reinforcement Learning with Verifiable Rewards)が失敗する。 問題解決を論理的「行動」の系列を生成するものとして再構成するフレームワークとして, SRL(Supervised Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2025-10-29T22:05:08Z)
• Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions [17.407689582427437]
  大規模言語モデル(LLM)推論は、強化学習(RL)を通して計画や自己回帰のような洗練された行動が現れることを示した。 textbfReLIFT (textbfReinforcement textbfL textbfInterleaved with Online textbfFine-textbfTuning) ReLIFTでは、モデルを主にRLを使ってトレーニングするが、難しい問題に遭遇すると、ファインチューニングのための高品質なソリューションが収集され、トレーニングプロセスが交互に行われる。
  論文  参考訳（メタデータ） (2025-06-09T08:11:20Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
  教師なし強化学習ベンチマーク(URLB)を紹介する。 URLBは2つのフェーズで構成されている。 評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
  論文  参考訳（メタデータ） (2021-10-28T15:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。