論文の概要: Competition and Attraction Improve Model Fusion

• arxiv url: http://arxiv.org/abs/2508.16204v1
• Date: Fri, 22 Aug 2025 08:24:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.313103
• Title: Competition and Attraction Improve Model Fusion
• Title（参考訳）: 競争とトラクションがモデル融合を改善
• Authors: João Abrantes, Robert Tjarko Lange, Yujin Tang,
• Abstract要約: モデルマージは、複数の機械学習モデルの専門知識を単一のモデルに統合するための強力なテクニックである。 本稿では3つの重要な特徴を持つ進化的アルゴリズムである自然ニッチのモデルマージング(M2N2)を提案する。 M2N2は、特殊言語と画像生成モデルをマージし、最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 17.83054848742515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging is a powerful technique for integrating the specialized knowledge of multiple machine learning models into a single model. However, existing methods require manually partitioning model parameters into fixed groups for merging, which restricts the exploration of potential combinations and limits performance. To overcome these limitations, we propose Model Merging of Natural Niches (M2N2), an evolutionary algorithm with three key features: (1) dynamic adjustment of merging boundaries to progressively explore a broader range of parameter combinations; (2) a diversity preservation mechanism inspired by the competition for resources in nature, to maintain a population of diverse, high-performing models that are particularly well-suited for merging; and (3) a heuristicbased attraction metric to identify the most promising pairs of models for fusion. Our experimental results demonstrate, for the first time, that model merging can be used to evolve models entirely from scratch. Specifically, we apply M2N2 to evolve MNIST classifiers from scratch and achieve performance comparable to CMA-ES, while being computationally more efficient. Furthermore, M2N2 scales to merge specialized language and image generation models, achieving state-of-the-art performance. Notably, it preserves crucial model capabilities beyond those explicitly optimized by the fitness function, highlighting its robustness and versatility. Our code is available at https://github.com/SakanaAI/natural_niches
• Abstract（参考訳）: モデルマージは、複数の機械学習モデルの専門知識を単一のモデルに統合するための強力なテクニックである。 しかし、既存の手法では、モデルパラメータをマージするために固定グループに手動で分割する必要があるため、潜在的な組み合わせの探索が制限され、性能が制限される。 これらの制約を克服するために, 自然ニッチのモデルマージング (M2N2) という3つの重要な特徴を持つ進化的アルゴリズムを提案する。(1) 統合境界の動的調整により, より広い範囲のパラメータの組み合わせを段階的に探索すること,(2) 自然資源の競争に触発された多様性保存機構により, 融合に特に適した多種多様なハイパフォーマンスモデル群を維持すること, (3) 融合の最も有望なモデルペアを特定するためのヒューリスティックなアトラクションメトリックである。 我々の実験結果は、モデルマージがスクラッチから完全にモデルを進化させるのに初めて使えることを示した。 具体的には、M2N2をスクラッチからMNIST分類器を進化させ、CMA-ESに匹敵する性能を実現する。 さらに、M2N2は特殊言語と画像生成モデルをマージし、最先端のパフォーマンスを達成する。 特に、フィットネス機能によって明示的に最適化されたモデル以上の重要なモデル機能を保持し、その堅牢性と汎用性を強調している。 私たちのコードはhttps://github.com/SakanaAI/natural_nichesで利用可能です。

関連論文リスト

• SE-Merging: A Self-Enhanced Approach for Dynamic Model Merging [60.83635006372403]
  textttSE-Mergingは自己拡張型モデルマージフレームワークである。 textttSE-Mergingは、追加のトレーニングなしで動的モデルのマージを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-22T18:38:41Z)
• AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization [86.8133939108057]
  異種MLLMに適した新しいモデルマージ手法であるAdaMMSを提案する。 提案手法は,マッピング,マージ,検索という3段階の課題に対処する。 ラベル付きデータ無しで異種MLLMをマージできる最初のモデルマージ手法として、AdaMMSは様々なビジョンベンチマークで過去のモデルマージ手法より優れている。
  論文  参考訳（メタデータ） (2025-03-31T05:13:02Z)
• Mixup Model Merge: Enhancing Model Merging Performance through Randomized Linear Interpolation [15.47711837051754]
  モデルマージは、複数のタスク固有のモデルを統合モデルに統合し、タスク固有のモデルの能力を継承することを目的としている。 既存のモデルマージ手法は、最終的なマージモデルに対する異なるタスク固有モデルの寄与率の違いを考慮していないことが多い。 そこで我々はMixup Model Merge(M3)を提案する。これはMixupデータ拡張手法のランダム化線形戦略に着想を得た単純で効果的な手法である。
  論文  参考訳（メタデータ） (2025-02-21T13:01:26Z)
• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Training-Free Pretrained Model Merging [38.16269074353077]
  双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。 ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
  論文  参考訳（メタデータ） (2024-03-04T06:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。