論文の概要: Competition and Attraction Improve Model Fusion
- arxiv url: http://arxiv.org/abs/2508.16204v1
- Date: Fri, 22 Aug 2025 08:24:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-25 16:42:36.313103
- Title: Competition and Attraction Improve Model Fusion
- Title（参考訳）: 競争とトラクションがモデル融合を改善
- Authors: João Abrantes, Robert Tjarko Lange, Yujin Tang,
- Abstract要約: モデルマージは、複数の機械学習モデルの専門知識を単一のモデルに統合するための強力なテクニックである。
本稿では3つの重要な特徴を持つ進化的アルゴリズムである自然ニッチのモデルマージング(M2N2)を提案する。
M2N2は、特殊言語と画像生成モデルをマージし、最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 17.83054848742515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model merging is a powerful technique for integrating the specialized knowledge of multiple machine learning models into a single model. However, existing methods require manually partitioning model parameters into fixed groups for merging, which restricts the exploration of potential combinations and limits performance. To overcome these limitations, we propose Model Merging of Natural Niches (M2N2), an evolutionary algorithm with three key features: (1) dynamic adjustment of merging boundaries to progressively explore a broader range of parameter combinations; (2) a diversity preservation mechanism inspired by the competition for resources in nature, to maintain a population of diverse, high-performing models that are particularly well-suited for merging; and (3) a heuristicbased attraction metric to identify the most promising pairs of models for fusion. Our experimental results demonstrate, for the first time, that model merging can be used to evolve models entirely from scratch. Specifically, we apply M2N2 to evolve MNIST classifiers from scratch and achieve performance comparable to CMA-ES, while being computationally more efficient. Furthermore, M2N2 scales to merge specialized language and image generation models, achieving state-of-the-art performance. Notably, it preserves crucial model capabilities beyond those explicitly optimized by the fitness function, highlighting its robustness and versatility. Our code is available at https://github.com/SakanaAI/natural_niches
- Abstract（参考訳）: モデルマージは、複数の機械学習モデルの専門知識を単一のモデルに統合するための強力なテクニックである。
しかし、既存の手法では、モデルパラメータをマージするために固定グループに手動で分割する必要があるため、潜在的な組み合わせの探索が制限され、性能が制限される。
これらの制約を克服するために, 自然ニッチのモデルマージング (M2N2) という3つの重要な特徴を持つ進化的アルゴリズムを提案する。(1) 統合境界の動的調整により, より広い範囲のパラメータの組み合わせを段階的に探索すること,(2) 自然資源の競争に触発された多様性保存機構により, 融合に特に適した多種多様なハイパフォーマンスモデル群を維持すること, (3) 融合の最も有望なモデルペアを特定するためのヒューリスティックなアトラクションメトリックである。
我々の実験結果は、モデルマージがスクラッチから完全にモデルを進化させるのに初めて使えることを示した。
具体的には、M2N2をスクラッチからMNIST分類器を進化させ、CMA-ESに匹敵する性能を実現する。
さらに、M2N2は特殊言語と画像生成モデルをマージし、最先端のパフォーマンスを達成する。
特に、フィットネス機能によって明示的に最適化されたモデル以上の重要なモデル機能を保持し、その堅牢性と汎用性を強調している。
私たちのコードはhttps://github.com/SakanaAI/natural_nichesで利用可能です。
関連論文リスト
- Towards Reversible Model Merging For Low-rank Weights [5.100622189286672]
モデルマージは、複数の微調整されたモデルを1セットの重みにまとめることを目的としており、すべてのソースタスクでうまく機能する。
従来のマージ法を低ランクウェイトに適用すると, マージモデルの性能が著しく低下することを示す。
すべてのアダプタを1組の重みに分解する代わりに、コンパクトな基底を構築する。
これは、単一のマージモデルを生成するのではなく、再構成可能なモデル空間を生成するものとしてマージされる。
論文 参考訳（メタデータ） (2025-10-15T23:22:38Z) - Black-box Model Merging for Language-Model-as-a-Service with Massive Model Repositories [21.899117703417517]
進化的アルゴリズム(Evo-Merging)に基づく微分自由最適化フレームワークを提案する。
提案手法は,(1) モデル間の不適切な情報や冗長な情報を識別・フィルタリングする疎結合型デノベーション,(2) 関連モデルに対する最適な組合せ重み付けを動的に計算するシグナック・アウェア・スケーリングの2つの重要な要素から構成される。
提案手法は,様々なタスクにおける最先端の成果を達成し,既存の強靭なベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2025-09-16T10:55:50Z) - SE-Merging: A Self-Enhanced Approach for Dynamic Model Merging [60.83635006372403]
textttSE-Mergingは自己拡張型モデルマージフレームワークである。
textttSE-Mergingは、追加のトレーニングなしで動的モデルのマージを実現することを示す。
論文 参考訳（メタデータ） (2025-06-22T18:38:41Z) - Navigating the Accuracy-Size Trade-Off with Flexible Model Merging [15.497612580389479]
我々は、新しいデータフリーモデルマージフレームワークFlexMergeを提案する。
異なる大きさのマージモデルを柔軟に生成し、単一のマージモデルから完全なスペクトルにまたがり、すべての微調整モデルを保持する。
FlexMergeを使って、異なるアルゴリズムの精度と大きさのトレードオフを体系的に特徴づける。
論文 参考訳（メタデータ） (2025-05-29T07:50:32Z) - AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization [86.8133939108057]
異種MLLMに適した新しいモデルマージ手法であるAdaMMSを提案する。
提案手法は,マッピング,マージ,検索という3段階の課題に対処する。
ラベル付きデータ無しで異種MLLMをマージできる最初のモデルマージ手法として、AdaMMSは様々なビジョンベンチマークで過去のモデルマージ手法より優れている。
論文 参考訳（メタデータ） (2025-03-31T05:13:02Z) - Mixup Model Merge: Enhancing Model Merging Performance through Randomized Linear Interpolation [15.47711837051754]
モデルマージは、複数のタスク固有のモデルを統合モデルに統合し、タスク固有のモデルの能力を継承することを目的としている。
既存のモデルマージ手法は、最終的なマージモデルに対する異なるタスク固有モデルの寄与率の違いを考慮していないことが多い。
そこで我々はMixup Model Merge(M3)を提案する。これはMixupデータ拡張手法のランダム化線形戦略に着想を得た単純で効果的な手法である。
論文 参考訳（メタデータ） (2025-02-21T13:01:26Z) - Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。
現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。
本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
論文 参考訳（メタデータ） (2025-01-16T13:17:24Z) - Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。
モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。
我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
論文 参考訳（メタデータ） (2024-10-16T14:29:29Z) - FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。
FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
論文 参考訳（メタデータ） (2024-06-05T13:54:28Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Training-Free Pretrained Model Merging [38.16269074353077]
双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。
ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
論文 参考訳（メタデータ） (2024-03-04T06:19:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。