論文の概要: From Parameters to Behaviors: A Survey of Model Fusion for Large Language Models
- arxiv url: http://arxiv.org/abs/2609.19553v1
- Date: Thu, 17 Sep 2026 01:24:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.060625
- Title: From Parameters to Behaviors: A Survey of Model Fusion for Large Language Models
- Title(参考訳): パラメータから行動へ:大規模言語モデルのモデル融合に関する調査
- Abstract要約: 2026年6月時点で、Hugging Faceは200万モデル以上をホストしている。
モデル融合は、ソースモデルからの機能を単一のターゲットモデルに統合する。
このサーベイはモデル融合を定義し、事前の作業はパラメータレベル、表現レベル、行動レベル融合の3つのレベルに分類する。
- 参考スコア(独自算出の注目度): 42.46256566594829
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model fusion integrates the capabilities from source models into a single target model. As of June 2026, Hugging Face hosts more than 2M models. This growing pool provides a rich base for model reuse and capability integration. Yet existing surveys often cover only separate parts of this space, and they do not provide a unified definition or a systematic taxonomy. This survey defines model fusion and organizes prior work into three levels: parameter-level, representation-level, and behavior-level fusion. We also review related metrics, benchmarks, and applications, summarize current challenges, and identify future directions. Our goal is to provide a clear map of this area and support future work on model fusion. A comprehensive list of papers about model fusion is available at https://github.com/Baicaihaochi/Awesome-Model-Fusion-Survey.
- Abstract(参考訳): モデル融合は、ソースモデルからの機能を単一のターゲットモデルに統合する。
2026年6月時点で、Hugging Faceは200万モデル以上をホストしている。
この成長するプールは、モデルの再利用と機能統合のためのリッチな基盤を提供します。
しかし、既存の調査はしばしばこの分野の別の部分のみをカバーしており、統一された定義や系統的な分類を提供していない。
このサーベイはモデル融合を定義し、事前の作業はパラメータレベル、表現レベル、行動レベル融合の3つのレベルに分類する。
また、関連するメトリクス、ベンチマーク、アプリケーションについてもレビューし、現在の課題を要約し、今後の方向性を特定します。
私たちのゴールは、この分野の明確なマップを提供し、将来のモデル融合作業をサポートすることです。
モデル融合に関する包括的な論文のリストはhttps://github.com/Baicaihaochi/Awesome-Model-Fusion-Survey.comで公開されている。
関連論文リスト
- Unifying Model and Layer Fusion for Speech Foundation Models [28.156414248551304]
複数の上流音声モデルの融合を可能にするインタフェースモジュールを提案する。
本研究は,様々な音声タスクにまたがって,様々な自己教師型モデルと教師型モデルの実験を行う。
以上の結果から,提案インタフェースは上流モデル選択に適した場合,さらなる性能向上をもたらすことが示された。
論文 参考訳(メタデータ) (2025-11-11T16:08:16Z) - Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。
モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。
本稿では,新しいモデル統合戦略を提案する。
論文 参考訳(メタデータ) (2024-10-16T14:29:29Z) - What Matters for Model Merging at Scale? [94.26607564817786]
モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。
これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。
本研究は,大規模モデルマージの有用性を体系的に評価する。
論文 参考訳(メタデータ) (2024-10-04T17:17:19Z) - FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。
FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
論文 参考訳(メタデータ) (2024-06-05T13:54:28Z) - Deep Model Fusion: A Survey [37.39100741978586]
Deep Model fusion/mergingは、複数のディープラーニングモデルのパラメータや予測を単一のモデルにマージする、新たなテクニックである。
高い計算コスト、高次元パラメータ空間、異なる異種モデル間の干渉など、いくつかの課題に直面している。
論文 参考訳(メタデータ) (2023-09-27T14:40:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。