論文の概要: AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.22194v1
• Date: Thu, 15 Oct 2026 16:44:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.198952
• Title: AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
• Title（参考訳）: AutoSFT:スーパービジョンファインチューニングにおける自動データ研究のためのエージェントシステム
• Abstract要約: 言語モデルエージェントは、ポストトレーニングをますます自動化するが、完全なトレーニングスタックが与えられると、教師付き微調整に収束する。 これらの変更のためにデータアクションスペースを設計し、自動化されたシステムがそれらのうちの1つよりも完全な範囲を作ることができるかどうかを問う。 メタエージェントが解析から実行を分離するマルチエージェントシステムである textbfAutoSFT を導入する。
• 参考スコア（独自算出の注目度）: 37.5064975347419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language model agents increasingly automate post-training, but when given the full training stack they converge on supervised fine-tuning and spend most effort revising training data. Existing systems give the agent one kind of control, selecting rows from a fixed pool or calling a generator, whereas a human data engineer adjusts proportions, prunes, repairs, replaces and synthesizes the data. We design a data action space for these changes and ask whether an automated system can make the full range rather than one of them, and what structure that requires. We first run this loop with a single agent, and it reaches only one action, adjusting category proportions, while its context fills with execution output and is discarded mid-search. We therefore introduce \textbf{AutoSFT}, a multi-agent system where a meta agent separates execution from analysis, gathers proposals from independent angles, and calls a synthesis subagent for capabilities the pool cannot cover, with the model, the trainer, and the budget fixed within each comparison. Adding each component in turn helps: the executor halves context loss, the analysis subagents lift the best IFEval by $+6.5$, and synthesis adds $+3.4$ IFEval and $+2.9$ IFBench. The same loop transfers to code, where analysis adds $+3.7$ MBPP+ over a single agent that does not improve. Every result comes from runs that retrain from the base model each round, so each component's effect is individually attributable. Our findings suggest that automating SFT data research depends more on covering diverse data actions than on a stronger single action.
• Abstract（参考訳）: 言語モデルエージェントは、ポストトレーニングをますます自動化するが、完全なトレーニングスタックが与えられると、教師付き微調整に収束し、トレーニングデータの修正に多くの労力を費やす。 既存のシステムはエージェントに1種類の制御を与え、固定されたプールから行を選択したり、ジェネレータを呼び出す。 これらの変更のためにデータアクションスペースを設計し、自動化されたシステムがそれらのうちの1つよりも完全な範囲を作ることができるのか、どの構造を必要とするのかを問う。 まず、このループを1つのエージェントで実行し、1つのアクションにしか到達せず、カテゴリ比を調整し、そのコンテキストは実行出力で満たされ、検索途中で破棄されます。 そこで,メタエージェントが解析から実行を分離し,独立した角度から提案を収集するマルチエージェントシステムである‘textbf{AutoSFT} を導入する。 実行者がコンテキスト損失を減らし、分析サブエージェントが最高のIFEvalを$6.5$上げ、合成が$3.4$ IFEvalと$2.9$ IFBenchを追加します。 同じループがコードに転送され、分析は改善されない単一のエージェントに対して$3.7$ MBPP+を加算する。 すべての結果は、各ラウンドごとにベースモデルから再トレーニングされる実行から得られます。 以上の結果から, SFTデータ研究の自動化は, より強力な単一行動よりも, 多様なデータ行動をカバーすることに依存することが示唆された。

関連論文リスト

• Iris: Climbing to the Search Frontier [21.066541702697112]
  我々は35B-A3Bスケールと397B-A17Bスケールでトレーニングされた2つの検索エージェントであるIris-miniとIris-proを紹介する。
  論文  参考訳（メタデータ） (2026-09-03T17:51:01Z)
• From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning [19.659110958894335]
  Supervised Fine-tuning (SFT) データ選択は、一般的にインスタンスランキングとして定式化される。 効果的なSFTトレーニングサブセットは、しばしば順序づけられたキュレーションレシピによって生成される。 キャッシュされたタスク、データ、モデル側信号に基づいて、固定プールの実体化を分離する2層解法であるAutoSelectionを導入する。
  論文  参考訳（メタデータ） (2026-05-13T03:27:21Z)
• Towards Multi-Agent Autonomous Reasoning in Hydrodynamics [0.06999740786886537]
  本稿では,多エージェントをレイヤ実行グラフ(LEG)を介して協調させる,流体力学のためのマルチエージェントシステム(MAS)のプロトタイプを提案する。 プランナーエージェントは、ドメイン知識を厳密な制御ロジックとしてハードコーディングすることなく、自然言語ルーティングからクエリ固有の実行トポロジを構築する。 レポーターエージェントが最終応答を合成し、ランタイムが監査性をサポートするためのツール呼び出し毎に証明をログする。
  論文  参考訳（メタデータ） (2026-05-01T21:17:55Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。