論文の概要: Federated Automatic Latent Variable Selection in Multi-output Gaussian Processes
- arxiv url: http://arxiv.org/abs/2407.16935v1
- Date: Wed, 24 Jul 2024 02:03:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 15:02:58.587877
- Title: Federated Automatic Latent Variable Selection in Multi-output Gaussian Processes
- Title（参考訳）: 多出力ガウス過程におけるフェデレーション付き遅延可変選択
- Authors: Jingyi Gao, Seokhyun Chung,
- Abstract要約: ユニット間で知識を伝達するMGPの一般的なアプローチは、各ユニットから中央サーバーへのすべてのデータ収集である。
本稿では,各潜伏過程の係数にスパイク・アンド・スラブ先行を配置する階層モデルを提案する。
これらの先行は、不要なものの係数を0に縮めることで、必要な潜在プロセスのみを自動的に選択するのに役立つ。
- 参考スコア（独自算出の注目度）: 0.7366405857677227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores a federated learning approach that automatically selects the number of latent processes in multi-output Gaussian processes (MGPs). The MGP has seen great success as a transfer learning tool when data is generated from multiple sources/units/entities. A common approach in MGPs to transfer knowledge across units involves gathering all data from each unit to a central server and extracting common independent latent processes to express each unit as a linear combination of the shared latent patterns. However, this approach poses key challenges in (i) determining the adequate number of latent processes and (ii) relying on centralized learning which leads to potential privacy risks and significant computational burdens on the central server. To address these issues, we propose a hierarchical model that places spike-and-slab priors on the coefficients of each latent process. These priors help automatically select only needed latent processes by shrinking the coefficients of unnecessary ones to zero. To estimate the model while avoiding the drawbacks of centralized learning, we propose a variational inference-based approach, that formulates model inference as an optimization problem compatible with federated settings. We then design a federated learning algorithm that allows units to jointly select and infer the common latent processes without sharing their data. We also discuss an efficient learning approach for a new unit within our proposed federated framework. Simulation and case studies on Li-ion battery degradation and air temperature data demonstrate the advantageous features of our proposed approach.
- Abstract（参考訳）: 本稿では,多出力ガウス過程(MGP)における潜在過程の数を自動選択するフェデレート学習手法を提案する。
MGPは、複数のソース/ユニット/エンティティからデータが生成されるとき、転送学習ツールとして大きな成功を収めています。
ユニット間で知識を伝達するMGPの一般的なアプローチは、各ユニットから中央サーバーにすべてのデータを収集し、共有潜在パターンの線形結合として各ユニットを表現するための共通の独立潜在プロセスを抽出することである。
しかし、このアプローチは重要な課題を提起する。
一 適正な潜伏過程数及び潜伏過程数の決定
(II) 集中型学習に頼って, プライバシーリスクや計算負荷の増大につながる。
これらの問題に対処するために、各潜伏過程の係数にスパイク・アンド・スラブ先行を配置する階層モデルを提案する。
これらの先行は、不要なものの係数を0に縮めることで、必要な潜在プロセスのみを自動的に選択するのに役立つ。
集中学習の欠点を回避しつつモデルを推定するために,フェデレートされた設定と互換性のある最適化問題としてモデル推論を定式化する変分推論に基づくアプローチを提案する。
次に、ユニットがデータを共有することなく、共通の潜在プロセスを共同で選択し、推論することのできる、連合学習アルゴリズムを設計する。
また、提案するフェデレーションフレームワーク内で、新しいユニットに対する効率的な学習手法についても論じる。
リチウムイオン電池劣化のシミュレーションとケーススタディにより, 提案手法の利点が示された。
関連論文リスト
- FedECADO: A Dynamical System Model of Federated Learning [15.425099636035108]
フェデレーション学習は分散最適化の力を活用して、別々のクライアント間で統一された機械学習モデルをトレーニングする。
本研究は,フェデレート学習プロセスの動的システム表現にインスパイアされた新しいアルゴリズムであるFedECADOを提案する。
FedProxやFedNovaといった著名な技術と比較して、FedECADOは多くの異種シナリオにおいて高い分類精度を達成する。
論文 参考訳（メタデータ） (2024-10-13T17:26:43Z) - Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。
本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文 参考訳（メタデータ） (2024-06-03T08:48:49Z) - Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。
本研究では,分散補正モデル平均化アルゴリズムを提案する。
シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
論文 参考訳（メタデータ） (2024-04-06T12:49:20Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Reinforcement Federated Learning Method Based on Adaptive OPTICS
Clustering [19.73560248813166]
本稿では,フェデレート学習のための適応型OPTICSクラスタリングアルゴリズムを提案する。
クラスタリング環境をMarkov決定プロセスとして認識することで、OPTICSクラスタの最良のパラメータを見つけることがゴールです。
本手法の信頼性と実用性は, 実験データから検証され, 有効性と優越性が確認された。
論文 参考訳（メタデータ） (2023-06-22T13:11:19Z) - Federated Gradient Matching Pursuit [17.695717854068715]
従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。
特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。
本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
論文 参考訳（メタデータ） (2023-02-20T16:26:29Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。
提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。
また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文 参考訳（メタデータ） (2021-04-13T08:23:46Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。