論文の概要: PSO-Merging: Merging Models Based on Particle Swarm Optimization

• arxiv url: http://arxiv.org/abs/2508.19839v1
• Date: Wed, 27 Aug 2025 12:52:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.629107
• Title: PSO-Merging: Merging Models Based on Particle Swarm Optimization
• Title（参考訳）: PSO-Merging: Particle Swarm Optimizationに基づくマージモデル
• Authors: Kehao Zhang, Shaolei Zhang, Yang Feng,
• Abstract要約: 我々は、Particle Swarm Optimization(PSO)に基づく新しいデータ駆動マージ手法であるPSO-Mergingを紹介する。 提案手法では,素粒子群を事前学習モデル,エキスパートモデル,スパシファイドエキスパートモデルで初期化する。 次に、複数の繰り返しを行い、最終的な大域的最適粒子がマージモデルとして機能する。
• 参考スコア（独自算出の注目度）: 36.641774346671504
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Model merging has emerged as an efficient strategy for constructing multitask models by integrating the strengths of multiple available expert models, thereby reducing the need to fine-tune a pre-trained model for all the tasks from scratch. Existing data-independent methods struggle with performance limitations due to the lack of data-driven guidance. Data-driven approaches also face key challenges: gradient-based methods are computationally expensive, limiting their practicality for merging large expert models, whereas existing gradient-free methods often fail to achieve satisfactory results within a limited number of optimization steps. To address these limitations, this paper introduces PSO-Merging, a novel data-driven merging method based on the Particle Swarm Optimization (PSO). In this approach, we initialize the particle swarm with a pre-trained model, expert models, and sparsified expert models. We then perform multiple iterations, with the final global best particle serving as the merged model. Experimental results on different language models show that PSO-Merging generally outperforms baseline merging methods, offering a more efficient and scalable solution for model merging.
• Abstract（参考訳）: モデルマージは、複数の利用可能なエキスパートモデルの強みを統合することで、すべてのタスクをスクラッチからトレーニング済みモデルを微調整する必要性を減らすことで、マルチタスクモデルを構築するための効率的な戦略として登場した。 既存のデータ非依存のメソッドは、データ駆動のガイダンスが欠如しているため、パフォーマンス上の制限に悩まされる。 データ駆動型アプローチも大きな課題に直面している: 勾配ベースの手法は計算コストが高く、大規模なエキスパートモデルをマージするための実用性を制限している。 これらの制約に対処するために、PSO-Mergingは、Particle Swarm Optimization (PSO)に基づく新しいデータ駆動マージ手法である。 提案手法では,素粒子群を事前学習モデル,エキスパートモデル,スパシファイドエキスパートモデルで初期化する。 次に、複数の繰り返しを行い、最終的な大域的最適粒子がマージモデルとして機能する。 異なる言語モデルの実験的結果から、PSO-Mergingは一般的にベースラインマージ手法よりも優れており、モデルマージのためのより効率的でスケーラブルなソリューションを提供する。

関連論文リスト

• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。