Fugu-MT 論文翻訳(概要): CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models

論文の概要: CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models

arxiv url: http://arxiv.org/abs/2402.15968v1
Date: Sun, 25 Feb 2024 03:07:32 GMT
ステータス: 処理完了
システム内更新日: 2024-02-27 16:00:10.031716
Title: CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models
Title（参考訳）: CoDream:異種モデルによる連合集約モデルの代わりに夢を変える
Authors: Abhishek Singh, Gauri Gupta, Ritvik Kapila, Yichuan Shi, Alex Dang, Sheshank Shankar, Mohammed Ehab, Ramesh Raskar
Abstract要約: 我々は、クライアントがランダムにデータを協調的に最適化する、codreamと呼ばれる新しいフレームワークを提案する。私たちの重要な洞察は、このデータを共同で最適化することで、グローバルなデータ分布の特性を効果的に捉えることができるということです。標準FLタスクのコドレームを実証的に検証し,モデルパラメータを共有せずに競合性能を実証した。
参考スコア（独自算出の注目度）: 8.85591781936764
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) enables collaborative optimization of machine learning models across decentralized data by aggregating model parameters. Our approach extends this concept by aggregating "knowledge" derived from models, instead of model parameters. We present a novel framework called \codream, where clients collaboratively optimize randomly initialized data using federated optimization in the input data space, similar to how randomly initialized model parameters are optimized in FL. Our key insight is that jointly optimizing this data can effectively capture the properties of the global data distribution. Sharing knowledge in data space offers numerous benefits: (1) model-agnostic collaborative learning, i.e., different clients can have different model architectures; (2) communication that is independent of the model size, eliminating scalability concerns with model parameters; (3) compatibility with secure aggregation, thus preserving the privacy benefits of federated learning; (4) allowing of adaptive optimization of knowledge shared for personalized learning. We empirically validate \codream on standard FL tasks, demonstrating competitive performance despite not sharing model parameters. Our code: https://mitmedialab.github.io/codream.github.io/
Abstract（参考訳）: フェデレーション学習(fl)は、モデルパラメータを集約することで、分散データ間の機械学習モデルの協調的最適化を可能にする。我々のアプローチは、モデルパラメータの代わりにモデルから派生した「知識」を集約することで、この概念を拡張します。本稿では,入力データ空間におけるフェデレーション最適化を用いたランダム初期化データを協調的に最適化する,新しいフレームワークである \codreamを提案する。私たちの重要な洞察は、このデータを共同で最適化することで、グローバルなデータ分布の特性を効果的に捉えることができるということです。データ空間における知識の共有は、(1)モデルに依存しない共同学習、すなわち異なるクライアントは異なるモデルアーキテクチャを持つことができる;(2)モデルサイズに依存しないコミュニケーション、モデルパラメータに対するスケーラビリティの懸念を排除する;(3)セキュアアグリゲーションとの互換性、すなわち連合学習のプライバシーの利点を維持する;(4)パーソナライズ学習のために共有される知識の適応的最適化を可能にする。モデルパラメータを共有しないにもかかわらず、標準的なFLタスクで \codream を実証的に検証する。私たちのコード: https://mitmedialab.github.io/codream.github.io/

関連論文リスト

FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
論文参考訳（メタデータ） (2024-10-17T22:47:19Z)
FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-29T11:28:06Z)
Enhancing One-Shot Federated Learning Through Data and Ensemble Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文参考訳（メタデータ） (2024-02-23T03:15:10Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
pFedSim: Similarity-Aware Model Aggregation Towards Personalized Federated Learning [27.668944118750115]
モデルトレーニング中にデータのプライバシを保護するために、フェデレーション学習(FL)パラダイムが出現する。 FLの最大の課題の1つは、IID以外の(同一で、独立に分散されていない)データにある。本稿では,モデル類似性に基づく新しいpFedSimアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-05-25T04:25:55Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文参考訳（メタデータ） (2020-12-15T19:30:29Z)
FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-09-04T01:18:25Z)
Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2020-06-27T09:35:03Z)
Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。