論文の概要: Guided Model Merging for Hybrid Data Learning: Leveraging Centralized Data to Refine Decentralized Models

• arxiv url: http://arxiv.org/abs/2503.20138v2
• Date: Thu, 30 Oct 2025 17:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.269214
• Title: Guided Model Merging for Hybrid Data Learning: Leveraging Centralized Data to Refine Decentralized Models
• Title（参考訳）: ハイブリッドデータ学習のためのガイド付きモデルマージ - 集中型データを活用して分散モデルを再定義する
• Authors: Junyi Zhu, Ruicong Yao, Taha Ceritli, Savas Ozkan, Matthew B. Blaschko, Eunchung Noh, Jeongwon Min, Cho Jung Min, Mete Ozay,
• Abstract要約: 現在のネットワークトレーニングパラダイムは、主に集中型または分散化されたデータレシスタンスに重点を置いている。 本稿では、分散化されたモデルからモデルアトラスを構築し、集中的なデータを活用する新しいフレームワークを提案する。 本手法は,フェデレーションラーニング(分散データを活用する)とモデルマージ(集中データを利用する)を相乗化することにより,ハイブリッドデータアベイラビリティの下で効果的なトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 29.605620036963924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current network training paradigms primarily focus on either centralized or decentralized data regimes. However, in practice, data availability often exhibits a hybrid nature, where both regimes coexist. This hybrid setting presents new opportunities for model training, as the two regimes offer complementary trade-offs: decentralized data is abundant but subject to heterogeneity and communication constraints, while centralized data, though limited in volume and potentially unrepresentative, enables better curation and high-throughput access. Despite its potential, effectively combining these paradigms remains challenging, and few frameworks are tailored to hybrid data regimes. To address this, we propose a novel framework that constructs a model atlas from decentralized models and leverages centralized data to refine a global model within this structured space. The refined model is then used to reinitialize the decentralized models. Our method synergizes federated learning (to exploit decentralized data) and model merging (to utilize centralized data), enabling effective training under hybrid data availability. Theoretically, we show that our approach achieves faster convergence than methods relying solely on decentralized data, due to variance reduction in the merging process. Extensive experiments demonstrate that our framework consistently outperforms purely centralized, purely decentralized, and existing hybrid-adaptable methods. Notably, our method remains robust even when the centralized and decentralized data domains differ or when decentralized data contains noise, significantly broadening its applicability.
• Abstract（参考訳）: 現在のネットワークトレーニングパラダイムは、主に集中型または分散化されたデータレシスタンスに重点を置いている。 しかし、実際には、データの可用性は、両者が共存するハイブリッドな性質を示すことが多い。 分散されたデータは豊富だが、不均一性や通信の制約を受ける。一方、中央集権的なデータはボリュームに制限があり、潜在的に表現できないが、より良いキュレーションと高スループットアクセスを可能にする。 その可能性にもかかわらず、これらのパラダイムを効果的に組み合わせることは困難であり、ハイブリッドデータレシエーションに適合するフレームワークはほとんどない。 そこで本研究では、分散化されたモデルからモデルアトラスを構築し、集中型データを活用して、この構造空間内のグローバルモデルを洗練する新しいフレームワークを提案する。 洗練されたモデルは、分散化されたモデルを再起動するために使用される。 本手法は,フェデレーションラーニング(分散データを活用する)とモデルマージ(集中データを利用する)を相乗化することにより,ハイブリッドデータアベイラビリティの下で効果的なトレーニングを可能にする。 理論的には,メルギングプロセスの分散化により,分散データのみに依存する手法よりも高速な収束を実現する。 大規模な実験により、我々のフレームワークは、純粋に中央集権的で、純粋に分散化され、既存のハイブリッド適応型メソッドよりも一貫して優れています。 特に,集中型データドメインと分散型データドメインが異なっている場合や,分散型データがノイズを含む場合であっても,本手法は堅牢であり,適用性を大幅に向上させる。

関連論文リスト

• DFCA: Decentralized Federated Clustering Algorithm [5.898448236416388]
  DFCAは、クライアントが集中的な調整なしにクラスタ固有のモデルを協調的に訓練することを可能にする、完全に分散化されたクラスタ化FLアルゴリズムである。 DFCAはシーケンシャルな実行平均を使い、更新が到着すると近隣のモデルを集約し、バッチアグリゲーションに代わる通信効率の高い代替手段を提供する。 本実験は,DFCAが他の分散アルゴリズムより優れ,集中型IFCAと同等に動作することを示す。
  論文  参考訳（メタデータ） (2025-10-17T04:17:00Z)
• Efficient Federated Learning with Timely Update Dissemination [54.668309196009204]
  分散データ管理のための魅力的な方法論として、フェデレートラーニング(FL)が登場した。 そこで本稿では,ダウンリンクの帯域幅を削減し,タイムリーな更新を確実にするための効率的なFL手法を提案する。
  論文  参考訳（メタデータ） (2025-07-08T14:34:32Z)
• Decentralized Diffusion Models [53.89995588977048]
  大規模なAIモデルトレーニングでは、数千のGPU間で作業が分割され、各ステップでグラデーションが同期される。 これにより、集中型のモノリシッククラスタしかサポートできない、ネットワークの重大な負担が発生する。 独立クラスタ間で拡散モデルのトレーニングを分散するスケーラブルなフレームワークである分散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-09T18:59:56Z)
• Protocol Learning, Decentralized Frontier Risk and the No-Off Problem [56.74434512241989]
  私たちは第3のパラダイムであるプロトコル学習(Protocol Learning)を特定します。 このアプローチは、単一の集中型エンティティよりも桁違いに多くの計算資源を集約する可能性がある。 また、不均一で信頼性の低いノード、悪意のある参加者、インセンティブを維持するために抽出不可能なモデルの必要性、複雑なガバナンスのダイナミクスなど、新しい課題も導入されている。
  論文  参考訳（メタデータ） (2024-12-10T19:53:50Z)
• FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning [23.140777064095833]
  フェデレーション学習は、分散クライアントがローカルデータを使用して機械学習モデルを協調的にトレーニングするためのフレームワークである。 分散環境のための効率的パーソナライズされたフェデレーション学習アルゴリズムであるFedSPDを提案する。 低接続性ネットワークにおいてもFedSPDが正確なモデルを学ぶことを示す。
  論文  参考訳（メタデータ） (2024-10-24T15:48:34Z)
• Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
  Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。 これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。 この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
  論文  参考訳（メタデータ） (2024-08-20T09:05:44Z)
• Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
  フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。 本研究では,分散補正モデル平均化アルゴリズムを提案する。 シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T12:49:20Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Outsourcing Training without Uploading Data via Efficient Collaborative Open-Source Sampling [49.87637449243698]
  従来のアウトソーシングでは、デバイスデータをクラウドサーバにアップロードする必要がある。 我々は、公開および異種ソースから収集された膨大なデータセットである、広く利用可能なオープンソースデータを活用することを提案する。 我々は,オープンソースデータからクラウドトレーニングのためのプロキシデータセットを構築するための,ECOS(Efficient Collaborative Open-source Sampling)と呼ばれる新しい戦略を開発した。
  論文  参考訳（メタデータ） (2022-10-23T00:12:18Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• Robust and Efficient Aggregation for Distributed Learning [37.203175053625245]
  平均化に基づく分散学習スキームは、外れ値に影響を受けやすいことが知られている。 単一の悪意のあるエージェントは、平均的な分散学習アルゴリズムを任意に貧弱なモデルに駆動することができる。 これは、中央値とトリミング平均の変動に基づくロバストアグリゲーションスキームの発展を動機付けている。
  論文  参考訳（メタデータ） (2022-04-01T17:17:41Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Data augmentation through multivariate scenario forecasting in Data Centers using Generative Adversarial Networks [0.18416014644193063]
  人工知能に基づくグローバルなエネルギー効率戦略を実現する上での大きな課題は、アルゴリズムを供給するために大量のデータが必要であることです。 本稿では,データセンタ内の合成シナリオ予測に基づく時系列データ拡張手法を提案する。 我々の研究は、データセンターで消費されるエネルギーを最適化するのに役立ちます。
  論文  参考訳（メタデータ） (2022-01-12T15:09:10Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
  分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。 現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
  論文  参考訳（メタデータ） (2020-12-24T01:43:53Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。