論文の概要: Recursive Self-Improvement through Multi-Agent Self-Supervision

• arxiv url: http://arxiv.org/abs/2610.12176v1
• Date: Thu, 08 Oct 2026 15:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.125695
• Title: Recursive Self-Improvement through Multi-Agent Self-Supervision
• Title（参考訳）: 多エージェントセルフスーパービジョンによる再帰的自己改善
• Abstract要約: オープンエンドリサーチのような検証不可能なタスクに関するモデルの帰納的自己改善(RSI)は、そのアウトプットが人間の専門家でさえ確実に評価できるものを超えた場合、監督のボトルネックに直面します。 進化的ワークフロー最適化と自己生成トラジェクトリの教師付き微調整を交互に行うRSI手法であるMulti-Agent Self-Supervision (MASS)を提案する。
• 参考スコア（独自算出の注目度）: 34.59736878497665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive self-improvement (RSI) of a model on non-verifiable tasks, such as open-ended research, faces a supervision bottleneck when its outputs exceed what even human experts can reliably assess, leaving the model itself (optimizee) as the best available optimizer and evaluator. However, a single model instance struggles to critique and improve its own complex reasoning under this homogeneous loop. To address this, we propose Multi-Agent Self-Supervision (MASS), an RSI method that alternates between evolutionary workflow optimization and supervised fine-tuning on self-generated trajectories. Guided by early findings that multi-agent topologies excel at complex reasoning, MASS prompts a single base model to iteratively propose, execute, and self-evaluate multi-agent workflows. Through an evolutionary search constrained by structural guardrails, the model optimizes these computational-graph-like orchestrations, discovering the most effective distinct roles and information routing for a given task. Over two MASS cycles with Qwen3.6-27B, the model achieves 1.2-1.6x higher performance per output tokens on four open-ended public benchmarks. Because the improved model subsequently acts as a better optimizer and evaluator, this alternating framework enables a continuous, recursive bootstrapping of the model's capabilities. Moreover, multi-agent traces are also more training-efficient: a student trained on them outperforms a single-agent student trained on 1.4x more training tokens. These findings suggest that jointly learning orchestration and bounded subagent execution from multi-agent trajectories can provide an effective signal for RSI.
• Abstract（参考訳）: オープンエンドリサーチのような検証不可能なタスクに関するモデルの帰納的自己改善(RSI)は、そのアウトプットが人間の専門家でさえ確実に評価できるものを超え、モデル自体を最適な最適化者と評価者として残す場合、監督のボトルネックに直面します。 しかし、単一のモデルインスタンスは、この同次ループの下で、自身の複素推論を批判し改善するのに苦労する。 そこで本研究では,進化的ワークフロー最適化と自己生成トラジェクトリの教師付き微調整を交互に行うRSI手法であるMulti-Agent Self-Supervision (MASS)を提案する。 複雑な推論においてマルチエージェントトポロジが優れているという初期の発見に導かれ、MASSは単一ベースモデルを反復的に提案し、実行し、自己評価する。 構造ガードレールによって制約された進化的探索を通じて、モデルはこれらの計算グラフのようなオーケストレーションを最適化し、与えられたタスクに対して最も効果的な役割と情報ルーティングを発見する。 Qwen3.6-27Bの2つのMASSサイクルで、このモデルは4つの公開ベンチマークで出力トークン当たり1.2-1.6倍のパフォーマンスを達成した。 改善されたモデルはその後、より良いオプティマイザと評価器として機能するため、この交互化フレームワークは、モデルの機能を継続的に再帰的にブートストラップすることを可能にする。 さらに、マルチエージェントトレースはトレーニング効率も高く、トレーニングを受けた学生は、1.4倍のトレーニングトークンでトレーニングを受けたシングルエージェントの学生よりも優れています。 以上の結果から,マルチエージェント・トラジェクトリからオーケストレーションと境界サブエージェントの実行を共同で学習することで,RSIの効果的なシグナルが得られることが示唆された。

関連論文リスト

• When Models Judge Themselves: Unsupervised Self-Evolution for Multimodal Reasoning [30.162034423611292]
  マルチモーダル推論のための教師なし自己進化学習フレームワークを提案する。 ヒューマンアノテートされた回答や外部報酬モデルを用いることなく、安定したパフォーマンス向上を実現する。 提案手法は5つの数学的推論ベンチマークにおける推論性能と一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-22T15:22:19Z)
• Can Recommender Systems Teach Themselves? A Recursive Self-Improving Framework with Fidelity Control [82.30868101940068]
  本稿では,外部データや教師モデルに依存することなく,モデルが自身のパフォーマンスをブートストラップするパラダイムを提案する。 我々の理論的分析は、RSIRがデータ駆動型暗黙正則化器として機能し、最適化景観を円滑にしていることを示している。 より小さなモデルであっても利点があり、弱いモデルはより強力なモデルに対して効果的なトレーニングカリキュラムを生成することができることを示す。
  論文  参考訳（メタデータ） (2026-02-17T15:31:32Z)
• Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains [114.76612918465948]
  大規模言語モデル(LLM)は近年顕著なパフォーマンスを達成しているが、基礎となるトレーニングデータによって根本的に制限されている。 本稿では,言語モデルのマルチエージェント社会にファインタニングを適用した自己改善への補完的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-10T04:35:46Z)
• Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
  本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。 逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。 アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-12-22T15:16:44Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。