論文の概要: PSO-Merging: Merging Models Based on Particle Swarm Optimization
- arxiv url: http://arxiv.org/abs/2508.19839v1
- Date: Wed, 27 Aug 2025 12:52:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-28 19:07:41.629107
- Title: PSO-Merging: Merging Models Based on Particle Swarm Optimization
- Title（参考訳）: PSO-Merging: Particle Swarm Optimizationに基づくマージモデル
- Authors: Kehao Zhang, Shaolei Zhang, Yang Feng,
- Abstract要約: 我々は、Particle Swarm Optimization(PSO)に基づく新しいデータ駆動マージ手法であるPSO-Mergingを紹介する。
提案手法では,素粒子群を事前学習モデル,エキスパートモデル,スパシファイドエキスパートモデルで初期化する。
次に、複数の繰り返しを行い、最終的な大域的最適粒子がマージモデルとして機能する。
- 参考スコア（独自算出の注目度）: 36.641774346671504
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Model merging has emerged as an efficient strategy for constructing multitask models by integrating the strengths of multiple available expert models, thereby reducing the need to fine-tune a pre-trained model for all the tasks from scratch. Existing data-independent methods struggle with performance limitations due to the lack of data-driven guidance. Data-driven approaches also face key challenges: gradient-based methods are computationally expensive, limiting their practicality for merging large expert models, whereas existing gradient-free methods often fail to achieve satisfactory results within a limited number of optimization steps. To address these limitations, this paper introduces PSO-Merging, a novel data-driven merging method based on the Particle Swarm Optimization (PSO). In this approach, we initialize the particle swarm with a pre-trained model, expert models, and sparsified expert models. We then perform multiple iterations, with the final global best particle serving as the merged model. Experimental results on different language models show that PSO-Merging generally outperforms baseline merging methods, offering a more efficient and scalable solution for model merging.
- Abstract（参考訳）: モデルマージは、複数の利用可能なエキスパートモデルの強みを統合することで、すべてのタスクをスクラッチからトレーニング済みモデルを微調整する必要性を減らすことで、マルチタスクモデルを構築するための効率的な戦略として登場した。
既存のデータ非依存のメソッドは、データ駆動のガイダンスが欠如しているため、パフォーマンス上の制限に悩まされる。
データ駆動型アプローチも大きな課題に直面している: 勾配ベースの手法は計算コストが高く、大規模なエキスパートモデルをマージするための実用性を制限している。
これらの制約に対処するために、PSO-Mergingは、Particle Swarm Optimization (PSO)に基づく新しいデータ駆動マージ手法である。
提案手法では,素粒子群を事前学習モデル,エキスパートモデル,スパシファイドエキスパートモデルで初期化する。
次に、複数の繰り返しを行い、最終的な大域的最適粒子がマージモデルとして機能する。
異なる言語モデルの実験的結果から、PSO-Mergingは一般的にベースラインマージ手法よりも優れており、モデルマージのためのより効率的でスケーラブルなソリューションを提供する。
関連論文リスト
- The Law of Multi-Model Collaboration: Scaling Limits of Model Ensembling for Large Language Models [54.51795784459866]
マルチモデル協調のための性能スケーリングの理論的枠組みを提案する。
本稿では,マルチモデルシステムにおいて,パラメータの総数に関して,パワー則のスケーリングが従うことを示す。
不均一なモデルファミリのアンサンブルは、単一のモデルファミリ内で形成されたものよりも優れたパフォーマンスのスケーリングを実現する。
論文 参考訳（メタデータ） (2025-12-29T09:55:12Z) - Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。
生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
論文 参考訳（メタデータ） (2025-10-16T03:37:16Z) - Black-box Model Merging for Language-Model-as-a-Service with Massive Model Repositories [21.899117703417517]
進化的アルゴリズム(Evo-Merging)に基づく微分自由最適化フレームワークを提案する。
提案手法は,(1) モデル間の不適切な情報や冗長な情報を識別・フィルタリングする疎結合型デノベーション,(2) 関連モデルに対する最適な組合せ重み付けを動的に計算するシグナック・アウェア・スケーリングの2つの重要な要素から構成される。
提案手法は,様々なタスクにおける最先端の成果を達成し,既存の強靭なベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2025-09-16T10:55:50Z) - NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。
パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。
NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
論文 参考訳（メタデータ） (2025-05-22T02:46:08Z) - Dynamic Fisher-weighted Model Merging via Bayesian Optimization [37.02810891820468]
既存のマージアプローチでは、一般的にパラメータをモデル的にスケーリングするか、パラメータの重要度をパラメータ的に統合する。
我々はこれらの戦略をより一般的な統合フレームワークに統合し、動的フィッシャー重み付け(DF-Merge)を導入する。
DF-Mergeは、異なるサイズと様々なタスクのモデルにおいて、強いベースラインを上回ります。
論文 参考訳（メタデータ） (2025-04-26T18:31:14Z) - Non-Uniform Parameter-Wise Model Merging [17.989809995141044]
我々は新しいアプローチであるNon-uniformを導入する。
賢いモデルマージ(英: wise Model Merging、NP Merge)は、各モデルのコントリビューションを学習することでモデルをマージする手法である。
勾配ベースの最適化を使った最終モデルへのパラメータ。
提案手法の有効性を実証的に実証し, 過去の手法よりも優れていた各種アーキテクチャのモデルを複数設定でマージする手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-12-20T00:05:14Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。