論文の概要: Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective
- arxiv url: http://arxiv.org/abs/2607.18026v1
- Date: Mon, 20 Jul 2026 14:58:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.666124
- Title: Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective
- Title（参考訳）: ヘテロジニアスLLMマージの再考:重み付きモデル平均化の展望
- Abstract要約: 異種融合法は通常、アダプタ、学習された潜在空間、ルーティング、機能アライメントを導入する。
学習自由次元適応と比制御比による反直感的質問を再考する。
その結果, 簡易パラメータ平均化は, 軽量次元適応と慎重に制御された比とを組み合わせれば, 不均一なマージに対する驚くほど強力なベースラインであることが示唆された。
- 参考スコア（独自算出の注目度）: 41.30735431552607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can large language models with substantially different parameter spaces be merged by direct weighted averaging, without training or semantic alignment? Existing heterogeneous fusion methods typically introduce distillation, adapters, learned latent spaces, routing, or feature alignment, leaving open whether a simpler recipe can work for genuinely different billion-parameter checkpoints. We revisit this counterintuitive question through training-free dimensional adaptation followed by ratio-controlled interpolation. In union-style merging, we expand the smaller model into the larger parameter space; in intersection-style merging, we truncate the larger model into the smaller parameter space. Across Qwen-family model pairs and benchmarks covering mathematical reasoning, code generation, language understanding, commonsense reasoning, knowledge, and instruction following, deterministic expansion largely preserves the source model function, and small-ratio interpolation can improve over strong source checkpoints by transferring complementary capabilities. However, near-balanced interpolation often collapses, and task-level results reveal a seesaw effect in which gains on some capabilities coexist with regressions on others. These results show that simple parameter averaging, when paired with lightweight dimensional adaptation and carefully controlled ratios, is a surprisingly strong baseline for heterogeneous LLM merging, suggesting that the limits of direct weighted fusion may also bound what more complex heterogeneous merging methods can achieve at scale.
- Abstract（参考訳）: パラメータ空間が実質的に異なる大きな言語モデルは、トレーニングやセマンティックアライメントなしで、直接重み付け平均化によってマージできるだろうか?
既存のヘテロジニアス融合法は、蒸留、アダプタ、学習された潜伏空間、ルーティング、機能アライメントを導入し、単純なレシピが真に異なる10億パラメータのチェックポイントに使えるかどうかを開いている。
トレーニング不要な次元適応と比制御補間により,この反直感的問題を再考する。
結合型マージでは、より小さなモデルをより大きなパラメータ空間に拡張し、交差型マージでは、より大きなモデルをより小さなパラメータ空間に切り離す。
数理的推論、コード生成、言語理解、コモンセンス推論、知識、命令を網羅したQwenファミリーモデルペアとベンチマーク、決定論的拡張は、ソースモデル関数を大半を保存し、補的機能を伝達することで、強力なソースチェックポイントよりも小さな比例補間を改善できる。
しかし、ほぼバランスの取れた補間はしばしば崩壊し、タスクレベルの結果は、他の回帰と共存するいくつかの能力で得られるシーソー効果を示す。
これらの結果から, 単純パラメータ平均化は, 軽量次元適応と厳密に制御された比とを組み合わせることで, 直接重み付け融合の限界が, より複雑なヘテロジニアス融合法と大きく結びついている可能性が示唆された。
関連論文リスト
- The information geometry of product-reference discrete diffusion: Interaction growth complexity and optimal scheduling [14.877292137182422]
離散分布から抽出する製品参照拡散アルゴリズムのクラスについて検討する。
データジオメトリのパスベース尺度を用いて, サンプリング性能を評価できることを示す。
論文 参考訳（メタデータ） (2026-08-28T23:38:39Z) - Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers [42.7047638496247]
事前学習したトランスにLCCをベースとしたモデルマージを実現するための新しいフレームワークを提案する。
本手法は,パラメータ化機能保存変換を適切に適用し,両モデルが対応する解を共同で学習する2つの学習手順を導入する。
経験的に,本手法はWikiTextにおける中規模パラメータを持つ言語モデルに対するほぼゼロに近い損失障壁を示し,この規模でのニアバリアフリー線形接続の実証実験である。
論文 参考訳（メタデータ） (2026-06-22T17:08:28Z) - Functionality-Oriented LLM Merging on the Fisher--Rao Manifold [14.349284217707575]
重み空間のマージは、複数の微調整LDMを再訓練せずに単一のモデルに組み合わせることを目的としている。
我々は,標準を守り,マルチエキスパートマージに直接一般化する軽量な球面プロキシを用いて,実用的な固定点アルゴリズムを導出する。
論文 参考訳（メタデータ） (2026-03-05T09:08:38Z) - Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations [55.047454145941366]
Streaming Mergingは、反復最適化プロセスとしてマージを概念化する革新的なモデル更新パラダイムである。
ARMは勾配勾配勾配のダイナミクスを近似するために設計された戦略である。
ARMは初期のSFTチェックポイントしか必要とせず、反復的なマージによって完全に収束したSFTモデルを上回る。
論文 参考訳（メタデータ） (2026-02-03T08:15:57Z) - Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。
我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。
我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
論文 参考訳（メタデータ） (2025-12-24T17:10:44Z) - NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。
パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。
NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
論文 参考訳（メタデータ） (2025-05-22T02:46:08Z) - Decouple and Orthogonalize: A Data-Free Framework for LoRA Merging [18.650279202312614]
分離直交メルジング手法(DO-Merging)を提案する。
パラメータを大きさと方向の成分に分離することにより、マージしたモデルの方向アライメントに対する大きさ差の影響を低減する。
我々は、視覚、言語、マルチモーダル領域にわたる広範な実験を通じて、提案したDO-Mergingは、既存のマージメソッドよりも、最小限のコストで大幅に高いパフォーマンスを達成することができることを検証した。
論文 参考訳（メタデータ） (2025-05-21T16:34:37Z) - AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization [86.8133939108057]
異種MLLMに適した新しいモデルマージ手法であるAdaMMSを提案する。
提案手法は,マッピング,マージ,検索という3段階の課題に対処する。
ラベル付きデータ無しで異種MLLMをマージできる最初のモデルマージ手法として、AdaMMSは様々なビジョンベンチマークで過去のモデルマージ手法より優れている。
論文 参考訳（メタデータ） (2025-03-31T05:13:02Z) - Model Assembly Learning with Heterogeneous Layer Weight Merging [57.8462476398611]
モデル統合のための新しいパラダイムであるモデルアセンブリ学習(MAL)を紹介する。
MALは、様々なモデルのパラメータをオープンエンドモデル動物園に統合し、ベースモデルの能力を高める。
論文 参考訳（メタデータ） (2025-03-27T16:21:53Z) - Mixup Model Merge: Enhancing Model Merging Performance through Randomized Linear Interpolation [15.47711837051754]
モデルマージは、複数のタスク固有のモデルを統合モデルに統合し、タスク固有のモデルの能力を継承することを目的としている。
既存のモデルマージ手法は、最終的なマージモデルに対する異なるタスク固有モデルの寄与率の違いを考慮していないことが多い。
そこで我々はMixup Model Merge(M3)を提案する。これはMixupデータ拡張手法のランダム化線形戦略に着想を得た単純で効果的な手法である。
論文 参考訳（メタデータ） (2025-02-21T13:01:26Z) - SIGMA: Scale-Invariant Global Sparse Shape Matching [50.385414715675076]
非剛体形状の正確なスパース対応を生成するための新しい混合整数プログラミング(MIP)法を提案する。
いくつかの挑戦的な3Dデータセットに対して,スパースな非剛性マッチングの最先端結果を示す。
論文 参考訳（メタデータ） (2023-08-16T14:25:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。