論文の概要: Sparsity-Aware Evolution for Model Merging

• arxiv url: http://arxiv.org/abs/2602.08218v1
• Date: Mon, 09 Feb 2026 02:43:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.036973
• Title: Sparsity-Aware Evolution for Model Merging
• Title（参考訳）: モデルマージのためのスパーシティ・アウェア進化
• Authors: Huan Zhang, Yanjian Zhang, Guillaume Wisniewski, Nadi Tomeh, Bang Liu,
• Abstract要約: 本稿では,モデルマージのためのSAE(spursity-aware Evolution)フレームワークを提案する。 スパース性制約をスコア関数に組み込み、よりスパースなモデルを好むように進化過程を制御します。 実験により、我々の手法は複数のベンチマークでモデルのマージ信頼性を向上させることができることが示された。
• 参考スコア（独自算出の注目度）: 32.79381154746636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a sparsity-aware evolutionary (SAE) framework for model merging that involves iterative pruning-merging cycles to act as a novel mutation operator. We incorporate the sparsity constraints into the score function, which steers the evolutionary process to favor more sparse models, in addition to other conventional performance scores. Interestingly, the by-product of \textit{competition} for sparsity introduces an extra local \textit{attraction} and interplay into the evolutionary process: if one competitor has more zero elements, the other competitor's non-zero elements will occupy those positions, even though the less sparse competitor loses to the more sparse competitor in other positions. The proposed pipeline is evaluated on a variety of large-scale LLM benchmarks. Experiments demonstrate that our approach can improve model merging reliability across multiple benchmarks, and is easy to incorporate due to its simplicity and being orthogonal to most existing approaches.
• Abstract（参考訳）: 本稿では,新たな突然変異演算子として機能するために,反復的なプルーニング・マージサイクルを含むモデルマージのためのスパーシティ・アウェア進化(SAE)フレームワークを提案する。 従来の性能スコアに加えて、よりスパースなモデルを好むように進化過程を操縦するスコア関数に、スパーシティ制約を組み込む。 興味深いことに、スパーシティのための \textit{competition} の副産物は、局所的な \textit{attraction} を付加し、進化過程に相互作用する:一方の競争相手がより多くの零元を持つならば、他方の競争相手の非零元がそれらの位置を占める。 提案するパイプラインは,様々な大規模LCMベンチマークで評価される。 実験により、我々の手法は複数のベンチマークでモデルのマージ信頼性を向上させることができ、その単純さと既存のアプローチの直交性により容易に組み込めることを示した。

関連論文リスト

• Game-Theoretic Co-Evolution for LLM-Based Heuristic Discovery [37.96481049421407]
  大規模言語モデル(LLM)は、自動発見の急速な進歩を可能にした。 本稿では,発見を問題解決者とインスタンスジェネレータのプログラムレベルの共進化として再編成するゲーム理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-30T12:14:52Z)
• Competition and Attraction Improve Model Fusion [17.83054848742515]
  モデルマージは、複数の機械学習モデルの専門知識を単一のモデルに統合するための強力なテクニックである。 本稿では3つの重要な特徴を持つ進化的アルゴリズムである自然ニッチのモデルマージング(M2N2)を提案する。 M2N2は、特殊言語と画像生成モデルをマージし、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-22T08:24:02Z)
• Subspace-Boosted Model Merging [18.15956635793621]
  Subspace Boostingは、最大20のエキスパートモデルのマージ効率を10%以上の大きなマージンで向上させる。 本稿では,タスク類似性の定量化に高次一般化特異値分解を用いることを提案する。
  論文  参考訳（メタデータ） (2025-06-19T17:59:29Z)
• Mamba Drafters for Speculative Decoding [58.080550222549064]
  SSM(State-of-the-art State Space Model)であるMambaをベースとした新しいドラフトモデルを提案する。 SSMの線形構造を活用することにより、従来のトランスフォーマー法に固有の二次的複雑性を回避することができる。 高品質なドラフト候補を生成するための新しいテスト時間木探索アルゴリズムにより、効率をさらに向上する。
  論文  参考訳（メタデータ） (2025-06-01T22:52:47Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• SyMerge: From Non-Interference to Synergistic Merging via Single-Layer Adaptation [28.417947631789783]
  SyMergeは1つのタスク固有のレイヤとマージ係数を共同で最適化する軽量フレームワークである。 SyMergeは、ビジョン、密度予測、NLPベンチマークを越えて最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-12-26T07:42:06Z)
• Interlocking-free Selective Rationalization Through Genetic-based Learning [7.504525967508676]
  我々は、学習オーバーヘッドを必要としない選択的合理化のための最初のインターロックフリーアーキテクチャであるGenSPPを提案する。 人工的および実世界のベンチマーク実験により、我々のモデルはいくつかの最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-13T17:52:48Z)
• Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
  我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。 モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。 本稿では,新しいモデル統合戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。