論文の概要: Moss: Proxy Model-based Full-Weight Aggregation in Federated Learning with Heterogeneous Models

• arxiv url: http://arxiv.org/abs/2503.10218v1
• Date: Thu, 13 Mar 2025 10:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:53:28.626240
• Title: Moss: Proxy Model-based Full-Weight Aggregation in Federated Learning with Heterogeneous Models
• Title（参考訳）: Moss: 不均一モデルによるフェデレーション学習におけるプロキシモデルに基づくフルウェイトアグリゲーション
• Authors: Yifeng Cai, Ziqi Zhang, Ding Li, Yao Guo, Xiangqun Chen,
• Abstract要約: 包括的知識を維持するために異種モデル内の全ての重みを集約する「全重集約」手法を新たに提案する。 Mossはトレーニングを著しく加速し、デバイス上でのトレーニング時間とエネルギー消費を削減し、精度を高め、ネットワーク帯域利用を最小化する。
• 参考スコア（独自算出の注目度）: 12.984033417017208
• License:
• Abstract: Modern Federated Learning (FL) has become increasingly essential for handling highly heterogeneous mobile devices. Current approaches adopt a partial model aggregation paradigm that leads to sub-optimal model accuracy and higher training overhead. In this paper, we challenge the prevailing notion of partial-model aggregation and propose a novel "full-weight aggregation" method named Moss, which aggregates all weights within heterogeneous models to preserve comprehensive knowledge. Evaluation across various applications demonstrates that Moss significantly accelerates training, reduces on-device training time and energy consumption, enhances accuracy, and minimizes network bandwidth utilization when compared to state-of-the-art baselines.
• Abstract（参考訳）: 現代のフェデレートラーニング(FL)は、高度に異質なモバイルデバイスを扱うためにますます不可欠になっている。 現在のアプローチでは、部分的なモデル集約パラダイムを採用して、最適化されたモデルの精度とより高いトレーニングオーバーヘッドをもたらす。 本稿では,部分モデルアグリゲーションという一般的な概念に挑戦し,包括的知識を維持するためにヘテロジニアスモデル内の全ての重みを集約するMossという新しい「フルウェイトアグリゲーション」手法を提案する。 様々なアプリケーションに対する評価は、Mossがトレーニングを著しく加速し、デバイス上でのトレーニング時間とエネルギー消費を削減し、精度を高め、最先端のベースラインと比較してネットワーク帯域利用を最小化することを示している。

関連論文リスト

• Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
  RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• Federated Model Heterogeneous Matryoshka Representation Learning [33.04969829305812]
  モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。 既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。 本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:37:08Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Mixtures of Experts Unlock Parameter Scaling for Deep RL [54.26191237981469]
  本稿では,Mixture-of-Expert(MoE)モジュールを値ベースネットワークに組み込むことで,パラメータスケーラブルなモデルが得られることを示す。 この研究は、強化学習のためのスケーリング法則の開発に関する強力な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-13T17:18:56Z)
• Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network [4.1813760301635705]
  本稿では,FedPMT(Federated partial Model Training)を提案する。 したがって、FedPMTのすべてのデバイスは、グローバルモデルの最も重要な部分を優先している。 実証的な結果は、FedPMTが既存のベンチマークFedDropを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2023-11-16T16:30:04Z)
• Bayesian sparsification for deep neural networks with Bayesian model reduction [0.6144680854063939]
  我々は,モデルウェイトを刈り取るためのより効率的な代替手段として,ベイズモデルリダクション(BMR)の使用を提唱する。 BMRは、単純な(非階層的な)生成モデルの下での後方推定に基づいて、余剰モデル重みのポストホック除去を可能にする。 我々は、LeNetのような古典的なネットワークから、VisionやTransformers-Mixersのようなモダンなフレームワークまで、さまざまなディープラーニングアーキテクチャにおけるBMRの可能性について説明する。
  論文  参考訳（メタデータ） (2023-09-21T14:10:47Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization [16.704006420306353]
  スケーラブルなフェデレート学習フレームワークは、異なる計算能力と通信能力を備えた異種クライアントに対処する必要がある。 本稿では,不均一な低ランクモデルをクライアントに分散し,それらをグローバルなフルランクモデルに集約する,新しいフェデレーションモデル圧縮フレームワークであるFedHMを提案する。 我々のソリューションは、計算複雑性の異なる異種局所モデルの訓練を可能にし、単一の大域的モデルを集約する。
  論文  参考訳（メタデータ） (2021-11-29T16:11:09Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。