論文の概要: Guided Model Merging for Hybrid Data Learning: Leveraging Centralized Data to Refine Decentralized Models

• arxiv url: http://arxiv.org/abs/2503.20138v2
• Date: Thu, 30 Oct 2025 17:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.269214
• Title: Guided Model Merging for Hybrid Data Learning: Leveraging Centralized Data to Refine Decentralized Models
• Title（参考訳）: ハイブリッドデータ学習のためのガイド付きモデルマージ - 集中型データを活用して分散モデルを再定義する
• Authors: Junyi Zhu, Ruicong Yao, Taha Ceritli, Savas Ozkan, Matthew B. Blaschko, Eunchung Noh, Jeongwon Min, Cho Jung Min, Mete Ozay,
• Abstract要約: 現在のネットワークトレーニングパラダイムは、主に集中型または分散化されたデータレシスタンスに重点を置いている。 本稿では、分散化されたモデルからモデルアトラスを構築し、集中的なデータを活用する新しいフレームワークを提案する。 本手法は,フェデレーションラーニング(分散データを活用する)とモデルマージ(集中データを利用する)を相乗化することにより,ハイブリッドデータアベイラビリティの下で効果的なトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 29.605620036963924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current network training paradigms primarily focus on either centralized or decentralized data regimes. However, in practice, data availability often exhibits a hybrid nature, where both regimes coexist. This hybrid setting presents new opportunities for model training, as the two regimes offer complementary trade-offs: decentralized data is abundant but subject to heterogeneity and communication constraints, while centralized data, though limited in volume and potentially unrepresentative, enables better curation and high-throughput access. Despite its potential, effectively combining these paradigms remains challenging, and few frameworks are tailored to hybrid data regimes. To address this, we propose a novel framework that constructs a model atlas from decentralized models and leverages centralized data to refine a global model within this structured space. The refined model is then used to reinitialize the decentralized models. Our method synergizes federated learning (to exploit decentralized data) and model merging (to utilize centralized data), enabling effective training under hybrid data availability. Theoretically, we show that our approach achieves faster convergence than methods relying solely on decentralized data, due to variance reduction in the merging process. Extensive experiments demonstrate that our framework consistently outperforms purely centralized, purely decentralized, and existing hybrid-adaptable methods. Notably, our method remains robust even when the centralized and decentralized data domains differ or when decentralized data contains noise, significantly broadening its applicability.
• Abstract（参考訳）: 現在のネットワークトレーニングパラダイムは、主に集中型または分散化されたデータレシスタンスに重点を置いている。 しかし、実際には、データの可用性は、両者が共存するハイブリッドな性質を示すことが多い。 分散されたデータは豊富だが、不均一性や通信の制約を受ける。一方、中央集権的なデータはボリュームに制限があり、潜在的に表現できないが、より良いキュレーションと高スループットアクセスを可能にする。 その可能性にもかかわらず、これらのパラダイムを効果的に組み合わせることは困難であり、ハイブリッドデータレシエーションに適合するフレームワークはほとんどない。 そこで本研究では、分散化されたモデルからモデルアトラスを構築し、集中型データを活用して、この構造空間内のグローバルモデルを洗練する新しいフレームワークを提案する。 洗練されたモデルは、分散化されたモデルを再起動するために使用される。 本手法は,フェデレーションラーニング(分散データを活用する)とモデルマージ(集中データを利用する)を相乗化することにより,ハイブリッドデータアベイラビリティの下で効果的なトレーニングを可能にする。 理論的には,メルギングプロセスの分散化により,分散データのみに依存する手法よりも高速な収束を実現する。 大規模な実験により、我々のフレームワークは、純粋に中央集権的で、純粋に分散化され、既存のハイブリッド適応型メソッドよりも一貫して優れています。 特に,集中型データドメインと分散型データドメインが異なっている場合や,分散型データがノイズを含む場合であっても,本手法は堅牢であり,適用性を大幅に向上させる。

関連論文リスト

• Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
  Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。 これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。 この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
  論文  参考訳（メタデータ） (2024-08-20T09:05:44Z)
• Outsourcing Training without Uploading Data via Efficient Collaborative Open-Source Sampling [49.87637449243698]
  従来のアウトソーシングでは、デバイスデータをクラウドサーバにアップロードする必要がある。 我々は、公開および異種ソースから収集された膨大なデータセットである、広く利用可能なオープンソースデータを活用することを提案する。 我々は,オープンソースデータからクラウドトレーニングのためのプロキシデータセットを構築するための,ECOS(Efficient Collaborative Open-source Sampling)と呼ばれる新しい戦略を開発した。
  論文  参考訳（メタデータ） (2022-10-23T00:12:18Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Data augmentation through multivariate scenario forecasting in Data Centers using Generative Adversarial Networks [0.18416014644193063]
  人工知能に基づくグローバルなエネルギー効率戦略を実現する上での大きな課題は、アルゴリズムを供給するために大量のデータが必要であることです。 本稿では,データセンタ内の合成シナリオ予測に基づく時系列データ拡張手法を提案する。 我々の研究は、データセンターで消費されるエネルギーを最適化するのに役立ちます。
  論文  参考訳（メタデータ） (2022-01-12T15:09:10Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
  分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。 現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
  論文  参考訳（メタデータ） (2020-12-24T01:43:53Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。