論文の概要: Federated Learning Optimization: A Comparative Study of Data and Model Exchange Strategies in Dynamic Networks
- arxiv url: http://arxiv.org/abs/2406.10798v1
- Date: Sun, 16 Jun 2024 03:46:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 20:51:13.760945
- Title: Federated Learning Optimization: A Comparative Study of Data and Model Exchange Strategies in Dynamic Networks
- Title(参考訳): フェデレートラーニング最適化:動的ネットワークにおけるデータとモデル交換戦略の比較研究
- Authors: Alka Luqman, Yeow Wei Liang Brandon, Anupam Chattopadhyay,
- Abstract要約: デバイス間で生データ、合成データ、または(部分的な)モデル更新を交換する選択について検討する。
私たちが考慮した様々なシナリオにおいて、時間限定の知識伝達効率は9.08%まで異なる可能性がある。
- 参考スコア(独自算出の注目度): 3.4179091429029382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The promise and proliferation of large-scale dynamic federated learning gives rise to a prominent open question - is it prudent to share data or model across nodes, if efficiency of transmission and fast knowledge transfer are the prime objectives. This work investigates exactly that. Specifically, we study the choices of exchanging raw data, synthetic data, or (partial) model updates among devices. The implications of these strategies in the context of foundational models are also examined in detail. Accordingly, we obtain key insights about optimal data and model exchange mechanisms considering various environments with different data distributions and dynamic device and network connections. Across various scenarios that we considered, time-limited knowledge transfer efficiency can differ by up to 9.08\%, thus highlighting the importance of this work.
- Abstract(参考訳): 大規模な動的フェデレーション学習の約束と普及は、大きなオープンな疑問を引き起こします – 送信効率と高速な知識伝達が主目的ならば、ノード間でデータやモデルを共有するのが賢明なのでしょうか?
この研究はそれを正確に調査する。
具体的には、デバイス間で生データ、合成データ、または(部分的な)モデル更新を交換する選択について検討する。
基礎モデルの文脈におけるこれらの戦略の影響についても詳細に検討する。
そこで我々は,データ分布の異なる様々な環境と動的デバイス,ネットワーク接続を考慮した最適データおよびモデル交換機構について重要な知見を得た。
私たちが考慮した様々なシナリオにおいて、時間限定の知識伝達効率は最大9.08 %まで異なる可能性があるため、この作業の重要性が強調される。
関連論文リスト
- On Learnable Parameters of Optimal and Suboptimal Deep Learning Models [2.889799048595314]
ディープラーニングモデルの構造的および運用的側面について検討する。
本研究は,学習可能なパラメータ(重み)統計,分布,ノード間相互作用,可視化のニュアンスに着目した。
論文 参考訳(メタデータ) (2024-08-21T15:50:37Z) - Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning [19.962212551963383]
アクティブラーニング(AL)は、モデルがユーザフィードバックからインタラクティブに学習することを可能にする。
本稿では,ALに反実データ拡張手法を提案する。
論文 参考訳(メタデータ) (2024-08-07T14:55:04Z) - MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.68829963458408]
異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。
MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。
MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
論文 参考訳(メタデータ) (2024-04-20T08:34:39Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-23T08:18:22Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。
タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
論文 参考訳(メタデータ) (2022-04-03T02:29:11Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-03-16T16:14:19Z) - Towards Federated Bayesian Network Structure Learning with Continuous
Optimization [14.779035801521717]
本稿では,ベイズネットワークの構造を推定するクロスサイロ・フェデレーション学習手法を提案する。
本研究では,連続最適化に基づく分散構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-10-18T14:36:05Z) - Probing transfer learning with a model of synthetic correlated datasets [11.53207294639557]
トランスファーラーニングはニューラルネットワークのサンプル効率を大幅に向上させることができる。
我々は、データセット間の相関をモデル化するためのフレームワークとして、合成データの解決可能なモデルを再考する。
本研究では,本モデルが実データを用いた伝達学習の多彩な特徴を捉えることができることを示す。
論文 参考訳(メタデータ) (2021-06-09T22:15:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。