論文の概要: MCCE: A Framework for Multi-LLM Collaborative Co-Evolution

• arxiv url: http://arxiv.org/abs/2510.06270v1
• Date: Mon, 06 Oct 2025 10:03:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.081855
• Title: MCCE: A Framework for Multi-LLM Collaborative Co-Evolution
• Title（参考訳）: MCCE: マルチLLM協調進化のためのフレームワーク
• Authors: Nian Ran, Zhongzheng Li, Yue Wang, Qingsong Ran, Xiaoyuan Zhang, Shikun Feng, Richard Allmendinger, Xiaoguang Zhao,
• Abstract要約: 多目的離散最適化問題は、その広大かつ非構造的な空間のために重大な問題を引き起こす。 大規模言語モデル(LLM)は、強力な先行と推論能力を提供し、専門家の知識が重要となると自然にします。 我々は,凍結したオープンソースLCMと軽量なトレーニングモデルを組み合わせたハイブリッドフレームワークであるMulti-LLM Collaborative Co-evolutionを紹介する。
• 参考スコア（独自算出の注目度）: 17.41200156551317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-objective discrete optimization problems, such as molecular design, pose significant challenges due to their vast and unstructured combinatorial spaces. Traditional evolutionary algorithms often get trapped in local optima, while expert knowledge can provide crucial guidance for accelerating convergence. Large language models (LLMs) offer powerful priors and reasoning ability, making them natural optimizers when expert knowledge matters. However, closed-source LLMs, though strong in exploration, cannot update their parameters and thus cannot internalize experience. Conversely, smaller open models can be continually fine-tuned but lack broad knowledge and reasoning strength. We introduce Multi-LLM Collaborative Co-evolution (MCCE), a hybrid framework that unites a frozen closed-source LLM with a lightweight trainable model. The system maintains a trajectory memory of past search processes; the small model is progressively refined via reinforcement learning, with the two models jointly supporting and complementing each other in global exploration. Unlike model distillation, this process enhances the capabilities of both models through mutual inspiration. Experiments on multi-objective drug design benchmarks show that MCCE achieves state-of-the-art Pareto front quality and consistently outperforms baselines. These results highlight a new paradigm for enabling continual evolution in hybrid LLM systems, combining knowledge-driven exploration with experience-driven learning.
• Abstract（参考訳）: 分子設計のような多目的離散最適化問題は、その広大かつ非構造的な組合せ空間のために大きな課題を提起する。 伝統的な進化的アルゴリズムは、しばしば局所的な最適性に閉じ込められ、専門家の知識は収束を加速するための重要なガイダンスを提供する。 大規模言語モデル(LLM)は強力な事前情報と推論能力を提供し、専門家の知識が重要となる場合に自然に最適化する。 しかし、クローズドソース LLM は探索に強いが、それらのパラメータを更新できないため、経験を内部化できない。 逆に、より小さなオープンモデルは継続的に微調整できるが、広い知識と推論力は欠如している。 我々は,凍結したオープンソース LLM と軽量なトレーニング可能なモデルを組み合わせたハイブリッドフレームワークである Multi-LLM Collaborative Co-evolution (MCCE) を紹介する。 このシステムは過去の探索過程の軌跡記憶を維持しており、この小さなモデルは強化学習によって徐々に洗練され、この2つのモデルはグローバル探索において相互に補完される。 モデル蒸留とは異なり、このプロセスは相互のインスピレーションによって両方のモデルの能力を高める。 多目的ドラッグデザインベンチマークの実験では、MCCEは最先端のパレートのフロント品質を達成し、ベースラインを一貫して上回っている。 これらの結果は、知識駆動探索と経験駆動学習を組み合わせることで、ハイブリッドLLMシステムにおける継続的な進化を可能にするための新しいパラダイムを浮き彫りにした。

関連論文リスト

• MoIIE: Mixture of Intra- and Inter-Modality Experts for Large Vision Language Models [52.876185634349575]
  我々は、モダリティ内およびモダリティ間エキスパート(MoIIE)の混合をLVLM(Large Vision-Language Models)に組み込むことを提案する。 それぞれのトークンに対して、専門家のルーティングはそのモダリティによってガイドされ、それぞれのモダリティの専門家と、モダリティ間のエキスパートの共有プールにトークンを指示する。 5.5B と 11.3B の活性化パラメータを持つ MoIIE モデルは,既存のオープンソース MoE-LLM ベースのマルチモーダルモデルの性能に適合するか,さらに上回っている。
  論文  参考訳（メタデータ） (2025-08-13T13:00:05Z)
• CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design [11.639825726501659]
  大規模言語モデル(LLM)は、従来のコストのごく一部で自律的にハイパフォーマンスを発見できる。 本稿では,言語指導と数値指導を組み合わせたハイブリッドフレームワークを提案する。 本手法は,様々な最適化タスクにおいて,SOTA(State-of-the-art)ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-05-18T07:48:47Z)
• Scaling Laws for Native Multimodal Models [53.490942903659565]
  我々は、ネイティブマルチモーダルモデルのアーキテクチャ設計を再考し、広範なスケーリング法の研究を行う。 我々の調査では、早期核融合アーキテクチャよりも後期核融合アーキテクチャに固有の利点は示されていない。 モデルにMixture of Experts(MoEs)を組み込むことで、モデルがモダリティ固有の重みを学習し、性能を著しく向上できることを示す。
  論文  参考訳（メタデータ） (2025-04-10T17:57:28Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Unconstrained Model Merging for Enhanced LLM Reasoning [42.079040543428036]
  複数のエキスパートモデルをひとつの大きな言語モデルにマージする可能性について検討する。 等質なモデルアーキテクチャと異質なモデルアーキテクチャの両方に対応可能な,制約のないモデルマージフレームワークを提案する。 7つのベンチマークと9つの推論最適化LDMで、推論がマージから出現する重要な発見を明らかにする。
  論文  参考訳（メタデータ） (2024-10-17T16:04:07Z)
• Simultaneously Evolving Deep Reinforcement Learning Models using Multifactorial Optimization [18.703421169342796]
  この研究は、関連する強化学習タスクの解決に向けて、複数のDQLモデルを同時に進化させることのできるフレームワークを提案する。 フレームワークの性能を評価するために、徹底的な実験を行い、議論する。
  論文  参考訳（メタデータ） (2020-02-25T10:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。