論文の概要: PG-SFT: Balancing Capability Acquisition and Retention in Offline Agent Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.00949v1
• Date: Thu, 01 Oct 2026 02:32:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.851366
• Title: PG-SFT: Balancing Capability Acquisition and Retention in Offline Agent Fine-Tuning
• Title（参考訳）: PG-SFT:オフラインエージェントファインチューニングにおける能力獲得と保持のバランスをとる
• Abstract要約: オフラインエージェントトラジェクトリにおけるスーパーバイザーファインチューニング(SFT)は、特殊なツール使用エージェントを訓練するための標準的なアプローチである。 本研究は,エージェントトラジェクトリのターンレベル情報ゲインを調整強度の調整指標として活用するための textbfPrivilege-Guided SFT (PG-SFT) を提案する。
• 参考スコア（独自算出の注目度）: 16.80190557270073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) on offline agent trajectories is the standard approach for training specialized tool-using agents, but forcing models to imitate reasoning and actions token by token may harm other capabilities (e.g., general reasoning, tool calling, code generation) of the base model. In this work, we focus on studying \emph{how to better balance the trade-off between acquiring new capabilities and preserving existing ones during agent trace SFT}. By comparing several baselines in our setup, standard SFT improves the target benchmark while lowering several non-target benchmark scores; meanwhile, simply constraining distributional drift using KL penalty or limiting the update magnitude did not avoid this regression trend. Motivated by recent token-wise adaptive learning objectives, this work proposes \textbf{Privilege-Guided SFT (PG-SFT)} to leverage turn-level information gain of agent trajectories as an indicator to adjust supervision strength. PG-SFT yields a more favorable observed trade-off on the evaluated benchmarks, substantially reducing distributional drift and broad capability degradation at the cost of slight degradation in target-task performance. Our findings suggest that balancing the acquisition--retention trade-off depends not only on whether the model is anchored to its base behavior, but also on where and how strongly supervision should depart from that behavior.}
• Abstract（参考訳）: オフラインエージェントトラジェクトリにおける監督された微調整(SFT)は、特殊なツール使用エージェントを訓練するための標準的なアプローチであるが、トークンによる推論とアクショントークンの模倣を強制するモデルは、ベースモデルの他の機能(例えば、一般的な推論、ツール呼び出し、コード生成)を傷つける可能性がある。 本研究では,新たな能力の獲得とエージェントトレースSFTにおける既存の能力の保存とのトレードオフのバランスを改善するために,'emph{how'の研究に焦点をあてる。 一方、KLペナルティを用いた分散ドリフトの制限や更新サイズ制限は、この回帰傾向を回避するには至らなかった。 近年のトークンワイド適応学習の目的により,エージェントトラジェクトリのターンレベル情報ゲインを調整強度の調整指標として活用するために, \textbf{Privilege-Guided SFT (PG-SFT)を提案する。 PG-SFTは、評価されたベンチマークでより好ましいトレードオフをもたらし、ターゲットタスク性能をわずかに低下させるコストで、分布のドリフトと広範な能力低下を著しく低減する。 以上の結果から, 獲得保持トレードオフのバランスは, モデルがベース行動に固定されているかどうかだけでなく, どのようにしてその行動から離脱すべきか, どのようにして厳格な監督を行うべきかに依存することが示唆された。 ※

関連論文リスト

• Online Self-Weighted Fine-Tuning [13.544097764061886]
  強化学習(RL)に基づく手法は,モデル生成ロールアウトを用いて更新強度を適応する。 オンライントラジェクトリレベルの重み付けによりSFTを増強する簡単な方法である textbfOnline Self-Weighted Fine-Tuning (OSW-FT) を提案する。 OSW-FTは小さなスケールモデルではSFTよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2026-09-01T05:12:45Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
  ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。 本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T07:15:43Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Preserving Foundational Capabilities in Flow-Matching VLAs through Conservative SFT [12.18095306054314]
  ConSFT(Reserve Supervised Fine-Tuning)は、壊滅的な忘れを軽減しつつ、ターゲット分布に適応する最適化目標である。 LIBERO と RoboTwin ベンチマークの ConSFT を最先端のフローマッチング VLA で評価した。
  論文  参考訳（メタデータ） (2026-05-09T10:59:03Z)
• Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
  FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。 FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。 本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-27T11:23:18Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Trust-Region Adaptive Policy Optimization [82.09255251747818]
  後学習法は,大規模言語モデル(LLM)の複雑な推論能力の向上に重要な役割を果たしている。 トレーニングインスタンス毎に,Fun-Tuning(SFT)とReinforcement Learning(RL)をインターリーブするフレームワークであるTRAPOを紹介する。 5つの数学的推論ベンチマークの実験は、TRAPOが標準SFT、RL、SFT-then-RLパイプラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-19T14:37:07Z)
• Anchored Supervised Fine-Tuning [26.17356786243252]
  大規模言語モデルのポストトレーニングには、教師付き微調整と強化学習のトレードオフが含まれる。 Dynamic Fine-Tuning (DFT)は、最近、トークンの確率でSFTの目標を再重み付けする、有望な中核として登場した。 我々は, 軽量KL正則化によるDFTの再重み付けを向上し, 安定性を確保しつつ, 密度を維持したAnchored Supervised Fine-Tuning (ASFT)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T08:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。