論文の概要: SFT or RL for Tool-Calling Agents? A Controlled Study Across Data, Method, and Scale

• arxiv url: http://arxiv.org/abs/2609.17848v1
• Date: Tue, 15 Sep 2026 21:08:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.547213
• Title: SFT or RL for Tool-Calling Agents? A Controlled Study Across Data, Method, and Scale
• Title（参考訳）: ツールカートリングエージェントのSFTまたはRL : データ・方法・規模にわたっての研究
• Abstract要約: 我々は,LoRAを用いた教師付き微調整,グループ相対ポリシー最適化による強化学習,および6つのQwen3モデルのGRPOによるSFTの評価を行った。 SFT with LoRA は 0.6B-32B の範囲で最強の分配方式であり、実験では 18 台中 15 台で最高である。 GRPOはトレーニングとテストデータセットが異なる54設定中29設定で勝利するが、SFT平均よりも1ポイント差がある。
• 参考スコア（独自算出の注目度）: 9.694856873255011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Limited controlled evidence exists on how training data, adaptation method, and model scale jointly affect tool-calling performance in language-model agents. We evaluate supervised fine-tuning (SFT) with LoRA, reinforcement learning (RL) via Group Relative Policy Optimization (GRPO), and SFT followed by GRPO across six Qwen3 models from 0.6B to 32B parameters, covering both in-distribution performance and cross-dataset transfer. SFT with LoRA is the strongest in-distribution method throughout the 0.6B-32B range and best in 15 out of 18 experimental settings. On cross-dataset transfer, the methods are closer: GRPO wins 29 out of 54 settings where training and test datasets differ, but its margin over SFT averages under one point, and SFT->GRPO is rarely strongest in either comparison. Dataset mixing gives consistently strong transfer while staying close to specialized in-distribution training, regardless of method. Additional analysis further confirms that LoRA outperforms full-parameter fine-tuning, demonstrating that LoRA better preserves pretrained agentic behavior.
• Abstract（参考訳）: 学習データ、適応方法、モデルスケールが言語モデルエージェントのツール呼び出し性能にどのように影響するかについて、限定的な制御された証拠が存在する。 我々は, LoRAを用いた教師付き微調整 (SFT) , Group Relative Policy Optimization (GRPO) による強化学習 (RL) , SFT を用いた SFT と, 0.6B から 32B までの 6 つの Qwen3 モデルに対する GRPO を比較検討した。 SFT with LoRA は 0.6B-32B の範囲で最強の分配方式であり、実験では 18 台中 15 台で最高である。 GRPOはトレーニングとテストデータセットが異なる54項目中29項目で勝利するが、SFT平均よりも1ポイント差があり、SFT->GRPOはどちらの比較でも最強はめったにない。 データセットの混合は、メソッドに関係なく、特別な分散トレーニングに近づきながら、一貫して強い転送を与える。 さらなる分析により、LoRAはフルパラメータの微調整よりも優れており、LoRAは事前訓練されたエージェントの挙動をより良く保存することを示した。

関連論文リスト

• Scaling Near-Optimal SFT-RL Annotation Budget Allocation from Small to Large LLMs [115.29900088092823]
  教師付き微調整と強化学習の間に固定アノテーションの予算を分割する方法は、未解決の問題である。 ピーク性能の特定の許容範囲内でのアロケーションの集合である近最適領域を特徴付ける。 我々の結果は、タスク、モデルファミリー、および好みに基づくオフ・ポリティクスと報酬・スーパービジョン・オン・ポリティクスの2つの方法に一貫して当てはまる。
  論文  参考訳（メタデータ） (2026-09-01T17:39:55Z)
• SFT-GRPO Data Overlap as a Post-Training Hyperparameter for Autoformalization [0.0]
  SFT と GRPO のデータを分離し続けることは、計算コストゼロで完全にオーバーラップする。 その結果,コンパイルモデルにおいて,コンパイルのセマンティックギャップが30パーセントを超えることが判明した。
  論文  参考訳（メタデータ） (2026-04-15T06:00:25Z)
• Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
  PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。 この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-12T05:43:20Z)
• Trust-Region Adaptive Policy Optimization [82.09255251747818]
  後学習法は,大規模言語モデル(LLM)の複雑な推論能力の向上に重要な役割を果たしている。 トレーニングインスタンス毎に,Fun-Tuning(SFT)とReinforcement Learning(RL)をインターリーブするフレームワークであるTRAPOを紹介する。 5つの数学的推論ベンチマークの実験は、TRAPOが標準SFT、RL、SFT-then-RLパイプラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-19T14:37:07Z)
• Supervised Fine Tuning on Curated Data is Reinforcement Learning (and can be improved) [3.13388270461847]
  我々は、教師付き微調整(SFT)と強化学習(RL)による最適政策の発見理論と実践との関係を描いている。 SFTに小さな修正を加えることで、RLのトレーニングに近く行動する重み付き変異が重要となることを示す。 我々は、この変種を重み付けされた教師付き微調整(iw-SFT)として参照する。
  論文  参考訳（メタデータ） (2025-07-17T07:26:54Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition [7.229494183462913]
  微調整後の例外的なパフォーマンスにもかかわらず、プレトレーニング言語モデル(PLM)はプライバシー上の懸念から重大な課題に直面している。 本論文では,フェデレートラーニング(FL)を微調整PLMとみなす。 1つの有望な解決策はパラメータ効率細調整(PEFT)をFLに活用することであり、完全なパラメータ細調整(FFT)よりもはるかに小さなパラメータセットを訓練する。
  論文  参考訳（メタデータ） (2024-04-29T16:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。