論文の概要: Can Model Merging Improve Aggregation in DiLoCo?

• arxiv url: http://arxiv.org/abs/2607.03011v1
• Date: Fri, 03 Jul 2026 06:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.495469
• Title: Can Model Merging Improve Aggregation in DiLoCo?
• Title（参考訳）: モデルマージはDiLoCoの凝集を改善するか?
• Abstract要約: ローカルSGDやDiLoCoのような手法は、独立に訓練されたローカルモデルを定期的に集約することで通信コストを大幅に削減する。 これらの通信効率のよい手法は、FLOPに適合したデータ並列金標準と比較して性能が低下することが示されている。 分散トレーニングにIso-Cを適用したIsoLoCoをNesterov運動量と組み合わせて提案する。
• 参考スコア（独自算出の注目度）: 23.207751685918925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging techniques, which aggregate independently finetuned models into one to combine their capabilities, have become a topic of significant interest in recent years, with a broad array of methods having been proposed to tackle this problem. Simultaneously, an emerging trend in distributed learning has been the use of methods such as local SGD and DiLoCo, which greatly reduce communication costs by periodically aggregating the independently trained local models. However, these communication-efficient methods have been shown to degrade in performance relative to the FLOP-matched data-parallel gold standard as the number of independent local models grows and as the number of local training steps before global communication is increased. In this work, we draw an explicit analogy between the pseudo-gradient aggregation step in local SGD/DiLoCo and task arithmetic-based model merging, establishing a straightforward way to utilize merging methods in the context of distributed optimization. We then evaluate multiple state-of-the-art model merging methods in this setting and identify one method in particular, Iso-C, as a promising approach for improving DiLoCo. We find that DiLoCo SGD with Iso-C aggregation outperforms not only simple pseudo-gradient averaging but even the momentum-based DiLoCo, despite lacking a momentum mechanism itself. Building on this finding, we propose IsoLoCo, which adapts Iso-C for distributed training by equipping it with Nesterov momentum. Our empirical evaluations on language model pre-training across varying numbers of local workers show that IsoLoCo significantly outperforms DiLoCo, with the gap between them widening as the number of workers increases. This advantage remains present across model sizes and inner step counts, confirming that merging-inspired aggregation is an effective strategy for low-communication distributed training.
• Abstract（参考訳）: 独立に微調整されたモデルを一つのモデルにまとめてそれらの能力を組み合わせるモデルマージ技術は、近年、この問題に対処するための幅広い手法が提案され、重要な関心事となっている。 同時に、分散学習の新たなトレンドは、ローカルSGDやDiLoCoのような手法を使用することで、独立的に訓練されたローカルモデルを定期的に集約することで、通信コストを大幅に削減している。 しかし、これらの通信効率向上手法は、FLOPに適合したデータ並列ゴールド標準と比較して、独立したローカルモデルの数が増え、グローバル通信が増加する前のローカルトレーニングステップの数が増えるにつれて、性能が低下することが示されている。 本研究では、局所的なSGD/DiLoCoにおける擬段階的集約ステップとタスク演算に基づくモデルマージとの明示的な類似性を描き、分散最適化の文脈でマージ手法を利用するための簡単な方法を確立する。 次に、この設定で複数の最先端モデルマージ手法を評価し、DiLoCoを改善するための有望なアプローチとして、特にIso-Cの1つの手法を同定する。 Iso-Cアグリゲーションを持つDiLoCo SGDは、運動量機構自体が欠如しているにもかかわらず、単純な擬似次数平均化だけでなく、運動量に基づくDiLoCoさえも優れていた。 そこで本研究では,Iso-CをNesterov運動量に組み込むことにより,分散トレーニングに適応させるIsoLoCoを提案する。 地域労働者の多種多様な言語モデルの事前学習に関する実証的な評価は、IsoLoCoがDiLoCoを著しく上回っていることを示している。 この利点はモデルサイズや内部ステップ数に留まり、マージにインスパイアされたアグリゲーションが低コミュニケーション分散トレーニングの効果的な戦略であることを確認している。

関連論文リスト

• AdLoCo: adaptive batching significantly improves communications efficiency and convergence for Large Language Models [34.54482364155804]
  本稿では,Multi-Instance Training(MIT),Adaptive Batched DiLoCo,スイッチモード機構を組み合わせた3段階の手法を提案する。 MITは個々のノードに対して、異なるモデルインスタンスを並列に複数の軽量なトレーニングストリームを実行することができる。 Adaptive Batched DiLoCoは、ローカルバッチサイズを動的に調整して、計算と通信のバランスをとる。 スイッチモードは、ハードウェアフレンドリな制限を超えて適応バッチサイズが大きくなると、グラデーションの蓄積をシームレスに導入する。
  論文  参考訳（メタデータ） (2025-08-25T16:35:57Z)
• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• Adding Additional Control to One-Step Diffusion with Joint Distribution Matching [58.37264951734603]
  JDMは、画像-条件関節分布間の逆KL分散を最小化する新しいアプローチである。 トラクタブルな上限を導出することにより、JDMは条件学習から忠実度学習を分離する。 この非対称蒸留方式により,一段階の生徒が教師モデルに未知の制御を処理できるようになる。
  論文  参考訳（メタデータ） (2025-03-09T15:06:50Z)
• Distributed Gradient Descent with Many Local Steps in Overparameterized Models [20.560882414631784]
  機械学習モデルの分散トレーニングでは、局所的な反復ステップによる勾配降下が一般的な方法である。 局所勾配Descent (Local-GD) における暗黙のバイアスの観点から,この優れた性能を多くの局所ステップで説明しようと試みる。
  論文  参考訳（メタデータ） (2024-12-10T23:19:40Z)
• Localize-and-Stitch: Efficient Model Merging via Sparse Task Arithmetic [22.73746175315071]
  ローカライズ・アンド・スティッチ(Localize-and-Stitch)は、モデルをローカライズされた方法でマージする新しいアプローチである。 提案手法は,微調整性能に寄与するスパース領域を効果的に検出できることを実証する。 また,本アルゴリズムはモデル圧縮を容易にし,事前学習した知識を保存する。
  論文  参考訳（メタデータ） (2024-08-24T19:14:02Z)
• Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
  フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。 本研究では,分散補正モデル平均化アルゴリズムを提案する。 シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T12:49:20Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• FedCross: Towards Accurate Federated Learning via Multi-Model Cross-Aggregation [16.019513233021435]
  フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、データサイロ問題に対処するために注目を集めている。 我々はFedCrossという名前の効率的なFLフレームワークを提案する。このフレームワークは、提案したマルチモデルクロスアグリゲーションアプローチに基づいた、新しいマルチツーマルチFLトレーニングスキームを使用する。 We show that FedCross can significantly improve FL accuracy in both IID and non-IID scenarios without causing additional communication overhead。
  論文  参考訳（メタデータ） (2022-10-15T13:12:11Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Robust and Efficient Aggregation for Distributed Learning [37.203175053625245]
  平均化に基づく分散学習スキームは、外れ値に影響を受けやすいことが知られている。 単一の悪意のあるエージェントは、平均的な分散学習アルゴリズムを任意に貧弱なモデルに駆動することができる。 これは、中央値とトリミング平均の変動に基づくロバストアグリゲーションスキームの発展を動機付けている。
  論文  参考訳（メタデータ） (2022-04-01T17:17:41Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)
• The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication [20.891460617583302]
  連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討 FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。 本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T07:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。