論文の概要: The Single-Multi Evolution Loop for Self-Improving Model Collaboration Systems

• arxiv url: http://arxiv.org/abs/2602.05182v1
• Date: Thu, 05 Feb 2026 01:20:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.695894
• Title: The Single-Multi Evolution Loop for Self-Improving Model Collaboration Systems
• Title（参考訳）: 自己改善型モデル協調システムのための単一マルチ進化ループ
• Authors: Shangbin Feng, Kishan Panaganti, Yulia Tsvetkov, Wenhao Yu,
• Abstract要約: 協調パターンを1つのモデルに蒸留することにより、協調の強みを維持しながら効率を向上する。 複数のLMが協力し, それぞれの蒸留液を共同生産し, これらの後蒸留により, LMが再び協力する, 単一マルチ進化ループを提案する。
• 参考スコア（独自算出の注目度）: 55.28554025674495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model collaboration -- systems where multiple language models (LMs) collaborate -- combines the strengths of diverse models with cost in loading multiple LMs. We improve efficiency while preserving the strengths of collaboration by distilling collaborative patterns into a single model, where the model is trained on the outputs of the model collaboration system. At inference time, only the distilled model is employed: it imitates the collaboration while only incurring the cost of a single model. Furthermore, we propose the single-multi evolution loop: multiple LMs collaborate, each distills from the collaborative outputs, and these post-distillation improved LMs collaborate again, forming a collective evolution ecosystem where models evolve and self-improve by interacting with an environment of other models. Extensive experiments with 7 collaboration strategies and 15 tasks (QA, reasoning, factuality, etc.) demonstrate that: 1) individual models improve by 8.0% on average, absorbing the strengths of collaboration while reducing the cost to a single model; 2) the collaboration also benefits from the stronger and more synergistic LMs after distillation, improving over initial systems without evolution by 14.9% on average. Analysis reveals that the single-multi evolution loop outperforms various existing evolutionary AI methods, is compatible with diverse model/collaboration/distillation settings, and helps solve problems where the initial model/system struggles to.
• Abstract（参考訳）: モデルコラボレーション -- 複数の言語モデル(LM)が協調するシステム -- は、多様なモデルの強みと、複数のLMをロードするコストを組み合わせたものです。 我々は、協調パターンを単一のモデルに蒸留することにより、協調の強みを保ちながら効率を向上し、モデル協調システムの出力に基づいてモデルを訓練する。 推論時には、蒸留されたモデルのみを使用し、単一のモデルのコストのみを発生させながら、コラボレーションを模倣する。 さらに,複数のLMが協力し,それぞれが共同生産物から蒸留され,これらの蒸留後改良されたLMが再び協力し,モデルが他のモデルの環境と相互作用して進化し自己向上する集合的進化のエコシステムを形成する。 7つのコラボレーション戦略と15のタスク(QA、推論、事実性など)による大規模な実験は、次のように示している。 1) 個々のモデルを平均8.0%改善し、コラボレーションの強みを吸収し、コストを1つのモデルに削減する。 2) 蒸留後, より強く, よりシナジスティックなLMの恩恵を受け, 進化しない初期システムよりも平均14.9%向上した。 分析によると、シングルマルチ進化ループは、既存の進化的AIメソッドよりも優れており、多様なモデル/コラボレーション/蒸留設定と互換性があり、初期モデル/システムが苦労する問題の解決に役立つ。

関連論文リスト

• MoCo: A One-Stop Shop for Model Collaboration Research [132.52160996841505]
  MoCo: 大規模なモデルコラボレーションアルゴリズムの実行、ベンチマーク、比較を行う、ワンストップPythonライブラリ。 MoCoは26のモデルコラボレーションメソッドを備えており、さまざまなレベルのクロスモデル情報交換が可能である。 MoCoによる大規模な実験は、ほとんどのコラボレーション戦略が、コラボレーションなしでモデルより優れていることを示している。 私たちは、MoCoをオープンでモジュール化され、分散化され、協力的なAIの未来を探求するための、貴重なツールキットとして想定しています。
  論文  参考訳（メタデータ） (2026-01-29T04:36:52Z)
• The Law of Multi-Model Collaboration: Scaling Limits of Model Ensembling for Large Language Models [54.51795784459866]
  マルチモデル協調のための性能スケーリングの理論的枠組みを提案する。 本稿では,マルチモデルシステムにおいて,パラメータの総数に関して,パワー則のスケーリングが従うことを示す。 不均一なモデルファミリのアンサンブルは、単一のモデルファミリ内で形成されたものよりも優れたパフォーマンスのスケーリングを実現する。
  論文  参考訳（メタデータ） (2025-12-29T09:55:12Z)
• InfiFusion: A Unified Framework for Enhanced Cross-Model Reasoning via LLM Fusion [35.98702433016698]
  InfiFusionは、ドメイン特化言語モデル(LLM)を単一のピボットモデルに統合するために設計された、効率的なトレーニングパイプラインである。 Pairwise Fusion (InfiFusion$_p$) と Unified Fusion (InfiFusion$_u$) の2つの融合戦略を提案する。 InfiFusionは、Qwen-2.5-14B-InstructやPhi-4といった最先端のモデルよりも、11の広く適用されたベンチマークで優れている。
  論文  参考訳（メタデータ） (2025-01-06T06:29:55Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Spindle: Efficient Distributed Training of Multi-Task Large Models via Wavefront Scheduling [35.06717005729781]
  Spindleは、マルチタスク(MT)マルチモーダル(MM)モデルのウェーブフロントスケジューリングによるリソース効率のトレーニングに適した、新しいトレーニングシステムである。 実験では、スピンドルの性能と効率が向上し、スピードアップ比は最先端のトレーニングシステムと比較して最大71%向上した。
  論文  参考訳（メタデータ） (2024-09-05T09:10:40Z)
• One-stop Training of Multiple Capacity Models [74.87789190840527]
  本稿では,高容量・低容量モデルとの共同学習のためのワンストップトレーニングフレームワークを提案する。 複数のキャパシティモデルをスクラッチから個別に訓練する知識蒸留とは異なり、我々の手法は異なるキャパシティモデルからの監督を同時に統合する。
  論文  参考訳（メタデータ） (2023-05-23T13:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。