論文の概要: EvoGM: Learning to Merge LLMs via Evolutionary Generative Optimization

• arxiv url: http://arxiv.org/abs/2605.29295v1
• Date: Thu, 28 May 2026 03:22:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 05:02:24.561512
• Title: EvoGM: Learning to Merge LLMs via Evolutionary Generative Optimization
• Title（参考訳）: EvoGM: 進化的生成最適化を通じてLLMを統合することを学ぶ
• Authors: Tao Jiang, Xinmeng Yu, Chenhao Yi, Yiling Wu, Yan Li, Ran Cheng, Dongmei Jiang, Jianguo Zhang,
• Abstract要約: 本稿では、学習可能な生成モデルを用いてマージ係数を最適化するフレームワークであるEvoGM(Evolutionary Generative Merging)を提案する。 EvoGMは、サイクル一貫性学習を備えたデュアルジェネレータアーキテクチャを備え、有望なマージ候補を適応的にサンプリングし、精査する。 さまざまなベンチマークによる実験によると、EvoGMは最先端のベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 27.31325788417927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary model merging provides a powerful framework for the automated, training-free composition of LLMs through parameter-space search. However, existing methods predominantly rely on stochastic, hand-crafted operators that overlook the underlying performance landscape of the coefficient space. We propose Evolutionary Generative Merging (EvoGM), a framework that transcends manual heuristics by employing learnable generative modeling to optimize merging coefficients. Specifically, EvoGM features a dual-generator architecture with cycle-consistent learning to adaptively sample and refine promising merging candidates. By constructing winner-loser pairs from historical search trajectories, our framework effectively captures high-performance parameter distributions and maximizes data efficiency. This generative process is seamlessly integrated into a multi-round evolutionary pipeline, where elite merged models iteratively serve as new expert foundations. Extensive experiments across diverse benchmarks demonstrate that EvoGM significantly outperforms state-of-the-art baselines, exhibiting robust performance on both seen and unseen tasks. Code and data are available at https://github.com/JiangTao97/evogm.
• Abstract（参考訳）: 進化的モデルマージは,パラメータ空間探索によるLLMの自動学習自由合成のための強力なフレームワークを提供する。 しかし、既存の手法は主に、係数空間の根底にある性能の展望を見渡す確率的で手作りの演算子に依存している。 EvoGM(Evolutionary Generative Merging)は,学習可能な生成モデルを用いて手動ヒューリスティックを超越し,マージ係数を最適化するフレームワークである。 具体的には、EvoGMはサイクル一貫性学習を備えたデュアルジェネレータアーキテクチャを備え、有望なマージ候補を適応的にサンプリングし、精査する。 過去の探索軌跡から入賞者対を構築することにより,高性能なパラメータ分布を効果的に把握し,データ効率を最大化する。 この生成プロセスは複数ラウンドの進化パイプラインにシームレスに統合され、エリートマージされたモデルは新しい専門家基盤として反復的に機能する。 さまざまなベンチマークにわたる大規模な実験により、EvoGMは最先端のベースラインを著しく上回り、目に見えないタスクと見えないタスクの両方で堅牢なパフォーマンスを示していることが示されている。 コードとデータはhttps://github.com/JiangTao97/evogm.comで公開されている。

関連論文リスト

• EvoSelect: Data-Efficient LLM Evolution for Targeted Task Adaptation [79.71802168256542]
  大きな言語モデル(LLM)を目的のタスクに効率的に、効果的に適応させることは、根本的な課題である。 1つの簡単なアプローチは、外部ジェネレータを通じて候補データを合成する反復的な生成訓練ループである。 モデル更新に先立って選択ステップを組み込んだ改良パラダイム,すなわち反復生成選択学習ループを導入する。
  論文  参考訳（メタデータ） (2026-04-28T23:26:16Z)
• Learning to Evolve with Convergence Guarantee via Neural Unrolling [37.99564850768798]
  両レベルのメタ最適化フレームワークであるL2E(Learning to Evolve)を導入する。 L2Eは、KM(Krasnosel'skii-Mann)固定点理論に基づくニューラルアンローリング過程として進化探索を再構成する。 実験では、高次元空間におけるL2Eのスケーラビリティと、合成および実世界の制御タスクにまたがる堅牢なゼロショット一般化が示される。
  論文  参考訳（メタデータ） (2025-12-12T10:46:25Z)
• Middo: Model-Informed Dynamic Data Optimization for Enhanced LLM Fine-Tuning via Closed-Loop Learning [44.53583316198435]
  Supervised Fine-Tuning (SFT) Large Language Modelsは高品質なトレーニングデータに依存している。 自己進化型モデル駆動動的データ最適化フレームワークであるMiddoを紹介した。 その結果,Middoはシードデータの品質を継続的に向上し,LLMの性能を平均7.15%向上させることができた。
  論文  参考訳（メタデータ） (2025-08-29T12:47:27Z)
• CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design [11.639825726501659]
  大規模言語モデル(LLM)は、従来のコストのごく一部で自律的にハイパフォーマンスを発見できる。 本稿では,言語指導と数値指導を組み合わせたハイブリッドフレームワークを提案する。 本手法は,様々な最適化タスクにおいて,SOTA(State-of-the-art)ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-05-18T07:48:47Z)
• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
  我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。 モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。 本稿では,新しいモデル統合戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。