論文の概要: Discovering Novel LLM Experts via Task-Capability Coevolution

• arxiv url: http://arxiv.org/abs/2604.14969v1
• Date: Thu, 16 Apr 2026 13:06:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.905593
• Title: Discovering Novel LLM Experts via Task-Capability Coevolution
• Title（参考訳）: タスク能力の共進化による新しいLLMエキスパートの発見
• Authors: Andrew Dai, Boris Meinardus, Ciaran Regan, Yingtao Tian, Yujin Tang,
• Abstract要約: 我々は,共進化を大規模言語モデル(LLM)発見に拡張する新しいモデル開発フレームワークを導入する。 AC/DCはモデルマージと合成データ生成による自然言語タスクを通じてLLMを進化させる。 本研究は,LLMから幅広い機能セットを発見する手段として,コエボリューションの可能性を強調した。
• 参考スコア（独自算出の注目度）: 11.383365565440949
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier model developers aim to train models continually to possess emergent, diverse capabilities. To extend capabilities, the current pre-training and post-training paradigm requires manually starting training runs with static datasets or reward functions every time. Addressing this limitation, our work pursues the insight that open-endedness (via the coevolution of models and tasks) can discover models with increasingly novel skills in a single run. We introduce a new model development framework that extends coevolution to large language model (LLM) discovery, open-ended \textit{Assessment Coevolving with Diverse Capabilities} (AC/DC). AC/DC evolves both LLMs via model merging and natural language tasks via synthetic data generation. AC/DC discovers growing archives of LLMs that surpass the capabilities of larger LLMs while taking up less GPU memory. In particular, our LLM populations achieve a broader Coverage of expertise than other curated models or baselines on downstream benchmarks, without \textit{any} explicit benchmark optimization. Furthermore, AC/DC improves Coverage over time, continually innovates on tasks and models, and improves performance in multi-agent best-of-N selection. Our findings highlight the potential of coevolution as a means of discovering broader sets of capabilities from base LLMs. Overall, AC/DC brings us one step closer to a profoundly new paradigm of LLM development, where continual improvements to the diversity of model capabilities can be accelerated by leveraging existing models as stepping stones to increasingly powerful models.
• Abstract（参考訳）: フロンティアモデル開発者は、創発的で多様な機能を持つようにモデルを継続的にトレーニングすることを目指している。 機能拡張のため、現在の事前トレーニングと後トレーニングのパラダイムでは、静的データセットや報酬関数を毎回手動で実行する必要がある。 この制限に対処するため、我々の研究は、(モデルとタスクの共進化を通じて)オープン・ディペンデンス(open-endedness)が1回の実行で新たなスキルを持つモデルを発見できるという洞察を追求しています。 本稿では,共進化を大規模言語モデル (LLM) に拡張する新しいモデル開発フレームワークを提案する。 AC/DCはモデルマージと合成データ生成による自然言語タスクを通じてLLMを進化させる。 AC/DCは、より少ないGPUメモリを取り込みながら、より大きなLLMの能力を超越したLLMのアーカイブの増大を発見する。 特に、我々のLLM人口は、他のキュレートされたモデルや下流ベンチマークのベースラインよりも、明示的なベンチマーク最適化なしで、幅広い専門知識のカバレッジを実現しています。 さらに、AC/DCは時間とともにカバレッジを改善し、タスクやモデルを継続的に革新し、マルチエージェントのベスト・オブ・N選択のパフォーマンスを向上させる。 本研究は,LLMから幅広い機能セットを発見する手段として,コエボリューションの可能性を強調した。 全体として、AC/DCはLLM開発の非常に新しいパラダイムに一歩近づき、モデル機能の多様性に対する継続的な改善は、既存のモデルをステップストーンとして、より強力なモデルに活用することで加速されます。

関連論文リスト

• MCCE: A Framework for Multi-LLM Collaborative Co-Evolution [17.41200156551317]
  多目的離散最適化問題は、その広大かつ非構造的な空間のために重大な問題を引き起こす。 大規模言語モデル(LLM)は、強力な先行と推論能力を提供し、専門家の知識が重要となると自然にします。 我々は,凍結したオープンソースLCMと軽量なトレーニングモデルを組み合わせたハイブリッドフレームワークであるMulti-LLM Collaborative Co-evolutionを紹介する。
  論文  参考訳（メタデータ） (2025-10-06T10:03:28Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
  CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。 低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
  論文  参考訳（メタデータ） (2024-01-04T18:53:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。