論文の概要: MergePipe: A Budget-Aware Parameter Management System for Scalable LLM Merging
- arxiv url: http://arxiv.org/abs/2602.13273v1
- Date: Thu, 05 Feb 2026 05:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 12:01:13.606293
- Title: MergePipe: A Budget-Aware Parameter Management System for Scalable LLM Merging
- Title（参考訳）: MergePipe: スケーラブルLLMマージのための予算を考慮したパラメータ管理システム
- Authors: Yuanyi Wang, Yanggan Gu, Zihao Wang, Kunxi Li, Yifan Yang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Hongxia Yang,
- Abstract要約: MergePipeはスケーラブルなLLMマージのためのパラメータ管理システムである。
エキスパートパラメータI/Oを明示的にモデル化し、ユーザが指定したI/O予算を強制するコスト対応プランナーを採用している。
実験によると、MergePipeは総I/O量を桁違いに減らし、エンドツーエンドのスピードアップで最大11ドルまで提供する。
- 参考スコア（独自算出の注目度）: 37.422249601576965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) merging has become a key technique in modern LLM development pipelines, enabling the integration of multiple task- or domain-specific expert models without retraining. However, as the number of experts grows, existing merging implementations treat model parameters as unstructured files and execute merges in a stateless, one-shot manner, leading to excessive disk I/O, redundant parameter scans, and poor scalability. In this paper, we present \textbf{MergePipe}, a parameter management system for scalable LLM merging. MergePipe is the first system that treats LLM merging as a data management and execution problem, and introduces a catalog-driven abstraction over model parameters, merge plans, and execution lineage. At its core, MergePipe employs a cost-aware planner that explicitly models expert parameter I/O and enforces user-specified I/O budgets, followed by a streaming execution engine that materializes merged models under transactional guarantees. Our key insight is that while base model reads and output writes are unavoidable, expert parameter reads dominate merge cost and constitute the primary optimization target. By making expert access budget-aware throughout planning and execution, MergePipe mitigates the $O(K)$ I/O growth of naive pipelines and achieves predictable scaling behavior. Experiments show that MergePipe reduces total I/O by up to an order of magnitude and delivers up to $11\times$ end-to-end speedups (up to 90\% wall-time reduction) over state-of-the-art LLM merging pipelines.
- Abstract（参考訳）: 大規模言語モデル(LLM)の統合は、現代のLLM開発パイプラインにおいて重要な技術となり、複数のタスクやドメイン固有のエキスパートモデルを再訓練せずに統合することが可能になった。
しかし、専門家の数が増加するにつれて、既存のマージ実装はモデルパラメータを非構造化ファイルとして扱い、ステートレスでワンショットでマージを実行し、過剰なディスクI/O、冗長なパラメータスキャン、スケーラビリティの低下につながる。
本稿では,拡張性LLMマージのためのパラメータ管理システムであるtextbf{MergePipe}について述べる。
MergePipeは、LLMマージをデータ管理と実行の問題として扱う最初のシステムであり、モデルパラメータ、マージ計画、実行ラインに対するカタログ駆動の抽象化を導入している。
MergePipeのコアとなるのは、エキスパートパラメータI/Oを明示的にモデル化し、ユーザ指定のI/O予算を強制するコスト対応プランナと、マージモデルをトランザクション保証の下で実現するストリーミング実行エンジンである。
我々の重要な洞察は、ベースモデル読み込みと出力書き込みは避けられないが、専門家パラメータ読み込みはマージコストを支配し、主要な最適化目標を構成することである。
MergePipeは、計画と実行を通じて専門家による予算対応を行うことで、ナイーブパイプラインのO(K)$I/O成長を軽減し、予測可能なスケーリング動作を実現する。
実験によると、MergePipeは総I/O量を桁違いに削減し、最先端のLLMマージパイプラインよりも、エンドツーエンドのスピードアップ(最大90%の削減)を最大11ドルまで提供する。
関連論文リスト
- DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。
dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。
モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
論文 参考訳（メタデータ） (2026-02-13T02:18:14Z) - The Case for Instance-Optimized LLMs in OLAP Databases [0.7090165638014332]
大規模言語モデル(LLM)は、強力なデータ要約、クリーニング、セマンティックトランスフォーメーション機能を備えた分析システムを強化することができる。
IOLMDB は,クエリ固有モデル最適化により LLM 拡張データベースクエリを実用的なものにする新しいシステムである。
論文 参考訳（メタデータ） (2025-07-07T13:10:01Z) - OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。
本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。
モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
論文 参考訳（メタデータ） (2025-05-26T12:23:14Z) - Multi-Modality Expansion and Retention for LLMs through Parameter Merging and Decoupling [33.90190836855285]
MMERは既存のMLLMを統合し、元の性能を維持しながら効果的なマルチモーダル展開を行う。
MMERは、新しいタスクで微調整されたMLLMに同様のプロセスを適用することで、破滅的な忘れを軽減できる。
論文 参考訳（メタデータ） (2025-05-21T12:40:07Z) - AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization [86.8133939108057]
異種MLLMに適した新しいモデルマージ手法であるAdaMMSを提案する。
提案手法は,マッピング,マージ,検索という3段階の課題に対処する。
ラベル付きデータ無しで異種MLLMをマージできる最初のモデルマージ手法として、AdaMMSは様々なビジョンベンチマークで過去のモデルマージ手法より優れている。
論文 参考訳（メタデータ） (2025-03-31T05:13:02Z) - Reinforced Model Merging [53.84354455400038]
本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。
評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
論文 参考訳（メタデータ） (2025-03-27T08:52:41Z) - Mixup Model Merge: Enhancing Model Merging Performance through Randomized Linear Interpolation [15.47711837051754]
モデルマージは、複数のタスク固有のモデルを統合モデルに統合し、タスク固有のモデルの能力を継承することを目的としている。
既存のモデルマージ手法は、最終的なマージモデルに対する異なるタスク固有モデルの寄与率の違いを考慮していないことが多い。
そこで我々はMixup Model Merge(M3)を提案する。これはMixupデータ拡張手法のランダム化線形戦略に着想を得た単純で効果的な手法である。
論文 参考訳（メタデータ） (2025-02-21T13:01:26Z) - Fine, I'll Merge It Myself: A Multi-Fidelity Framework for Automated Model Merging [30.38047100067552]
推論機能は、大きな言語モデルにとって重要なフロンティアである。
機能を効率的に補完する1つの方法は、モデルマージである。
本稿では,マージ戦略のきめ細かい探索を可能にする自動モデルマージフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-06T12:47:25Z) - Channel Merging: Preserving Specialization for Merged Experts [16.122289324737366]
本稿では,パラメータ競合を最小限に抑えつつ,ストレージ効率を向上する新しい戦略であるChannel Mergingを紹介する。
我々の実験は、Channel Mergingが、英語や中国語の推論、数学的推論、コード生成といったタスクにおいて、未マージされたモデルに一致して、常に高いパフォーマンスを提供することを示した。
論文 参考訳（メタデータ） (2024-12-18T16:07:44Z) - AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。
近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。
本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
論文 参考訳（メタデータ） (2024-10-03T20:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。