論文の概要: SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.11345v1
• Date: Thu, 08 Oct 2026 06:40:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.838638
• Title: SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning
• Title（参考訳）: SynCo:マルチエージェント強化学習による自己進化型LDMのためのデータ合成協調学習
• Abstract要約: 自己進化型LLMエージェントは、継続的な相互作用と学習を通じて自律的に改善することを約束する。 既存のパイプラインのほとんどは、静的データセットや別々に更新された合成モデルに依存している。 自己進化型LDMのためのエージェントデータ合成協調学習フレームワークであるSynCoを提案する。
• 参考スコア（独自算出の注目度）: 26.922892065061394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving LLM agents promise to improve autonomously through continual interaction and learning, reducing their dependence on manually curated supervision. Realizing this promise requires not only updating the agent, but also evolving its training experience as its capabilities change. However, most existing pipelines rely on static datasets or separately updated synthesis models, causing previously useful tasks to become trivial while overly difficult tasks remain uninformative. This growing mismatch between agent capability and training experience limits sustained self-improvement. To address this problem, we propose SynCo, an agentic data synthesis co-training framework for self-evolving LLMs based on multi-agent reinforcement learning. SynCo jointly optimizes two independently parameterized agents: a Synthesizer that constructs training tasks from the Reasoner's evolving capability state, and a Reasoner that learns from the resulting experience. Each synthesized task induces multiple Reasoner rollouts whose outcomes provide complementary rewards to both agents. Correctness feedback improves the Reasoner, while task quality, answer reliability, and outcome-grounded teachability guide the Synthesizer. Their updates are fed back into subsequent synthesis rounds, allowing the task-solving policy and its training distribution to evolve together. Extensive experiments across eight mathematical reasoning benchmarks demonstrate that SynCo substantially outperforms a broad range of existing synthetic-data methods and controlled baselines, achieving the strongest overall performance while deriving most of its gains from previously unsolved problems.
• Abstract（参考訳）: 自己進化型LLMエージェントは、継続的な相互作用と学習を通じて自律的に改善することを約束し、手作業による監督への依存を減らす。 この約束を実現するには、エージェントを更新するだけでなく、その能力が変化するにつれてトレーニングエクスペリエンスを進化させる必要がある。 しかし、既存のパイプラインのほとんどは静的なデータセットや別々に更新された合成モデルに依存しているため、これまで有用なタスクは簡単になり、過度に難しいタスクは非形式的のままである。 このエージェント能力とトレーニング経験のミスマッチの増大は、自己改善を持続させる。 この問題を解決するために,マルチエージェント強化学習に基づく自己進化型LLMのためのエージェントデータ合成協調学習フレームワークであるSynCoを提案する。 SynCoは、Reasonerの進化する能力状態からトレーニングタスクを構築するSynthesizerと、結果のエクスペリエンスから学ぶReasonerという、2つの独立したパラメータ化されたエージェントを共同で最適化する。 各合成タスクは、両方のエージェントに補完的な報酬を与える複数のReasonerロールアウトを誘導する。 正確さのフィードバックはReasonerを改善し、タスクの品質、回答の信頼性、結果に基づく教育性はSynthesizerを導く。 彼らの更新はその後の合成ラウンドにフィードバックされ、タスク解決ポリシーとそのトレーニングディストリビューションが一緒に進化する。 8つの数学的推論ベンチマークによる広範囲な実験により、SynCoは既存の合成データ手法と制御ベースラインを大幅に上回っており、これまで未解決だった問題から得られる多くの利益を導きながら、最も高い総合的なパフォーマンスを達成している。

関連論文リスト

• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Make LLM Learn to Synthesize from Streaming Experiences through Feedback [28.343295556944295]
  合成タスクが順次到着し、過去のタスクから経験することで、将来的な合成のための情報信号を提供する新しい設定であるStream Synthを紹介する。 タスクストリーム上で再利用可能な合成体験を合成モデルで取得できるフレームワークであるSynLearnerを提案する。 実験の結果、SynLearnerは以前のタスクからの経験を効果的に活用し、後続のタスクでの合成性能を改善し、一貫したクロスタスク転送性を示すことがわかった。
  論文  参考訳（メタデータ） (2026-05-28T13:51:58Z)
• Training LLMs for Multi-Step Tool Orchestration with Constrained Data Synthesis and Graduated Rewards [76.49428173793386]
  LLMは、中間出力を伝搬しながら、正しい順序で複数の依存APIを呼び出す必要がある。 既存の環境は、シミュレーションデータを使った単純なターン毎の関数呼び出しとバイナリ報酬に重点を置いている。 まず、実APIレスポンスの大規模キャッシュを背景とした強化学習環境を構築し、有効なマルチステップオーケストレーショントレースをサンプリングするデータ合成パイプラインを実現する。 第二に、正当性を原子の妥当性とオーケストレーションに分解する、段階的な報酬設計を提案する。
  論文  参考訳（メタデータ） (2026-03-25T18:31:39Z)
• From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents [23.583947864141162]
  EigenDataは階層的なマルチエージェントエンジンで、ツール基底の対話と実行可能なインスタンスごとのチェッカーを合成する。 合成データに基づいて、まずユーザモデルを微調整し、GRPOスタイルのトレーニングを適用するRLレシピを開発する。 以上の結果から,高価なアノテーションを使わずに,複雑なツールの動作をブートストラップするためのスケーラブルな経路が示唆された。
  論文  参考訳（メタデータ） (2026-01-30T06:01:23Z)
• Scaling Agent Learning via Experience Synthesis [100.42712232390532]
  強化学習は、対話を通じて自己改善を行うことで、自律的なエージェントに力を与えることができる。 しかし、コストのかかるロールアウト、タスクの多様性の制限、信頼性の低い報奨信号、インフラストラクチャの複雑さによって、その実践的採用は依然として困難である。 私たちはDreamGymを紹介します。DreamGymはスケーラビリティを念頭において多様なエクスペリエンスを合成するために設計された最初の統合フレームワークです。
  論文  参考訳（メタデータ） (2025-11-05T18:58:48Z)
• EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning [63.03672166010434]
  我々は、進化的、タスクに依存しない、戦略を導いた、実行可能検証可能なデータ合成フレームワークを紹介します。 問題、多様な候補解、検証成果物を共同で合成する。 これは、人間による注釈付きチェックと戦略によるチェックの合意を強制する一貫性に基づく評価器を通じて戦略を反復的に発見する。
  論文  参考訳（メタデータ） (2025-10-20T11:56:35Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。