論文の概要: Structured Cooperative Learning with Graphical Model Priors

• arxiv url: http://arxiv.org/abs/2306.09595v1
• Date: Fri, 16 Jun 2023 02:41:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 15:19:33.257183
• Title: Structured Cooperative Learning with Graphical Model Priors
• Title（参考訳）: グラフィカルモデル優先による構造化協調学習
• Authors: Shuangtong Li, Tianyi Zhou, Xinmei Tian, Dacheng Tao
• Abstract要約: ローカルデータに制限のある分散デバイス上で、さまざまなタスクに対してパーソナライズされたモデルをトレーニングする方法を研究する。 本稿では,デバイス間の協調グラフをグラフィカルモデルにより生成する「構造化協調学習(SCooL)」を提案する。 SCooLを評価し,既存の分散学習手法と比較した。
• 参考スコア（独自算出の注目度）: 98.53322192624594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how to train personalized models for different tasks on decentralized devices with limited local data. We propose "Structured Cooperative Learning (SCooL)", in which a cooperation graph across devices is generated by a graphical model prior to automatically coordinate mutual learning between devices. By choosing graphical models enforcing different structures, we can derive a rich class of existing and novel decentralized learning algorithms via variational inference. In particular, we show three instantiations of SCooL that adopt Dirac distribution, stochastic block model (SBM), and attention as the prior generating cooperation graphs. These EM-type algorithms alternate between updating the cooperation graph and cooperative learning of local models. They can automatically capture the cross-task correlations among devices by only monitoring their model updating in order to optimize the cooperation graph. We evaluate SCooL and compare it with existing decentralized learning methods on an extensive set of benchmarks, on which SCooL always achieves the highest accuracy of personalized models and significantly outperforms other baselines on communication efficiency. Our code is available at https://github.com/ShuangtongLi/SCooL.
• Abstract（参考訳）: ローカルデータに制限のある分散デバイス上で、さまざまなタスクに対してパーソナライズされたモデルをトレーニングする方法を研究する。 本稿では,デバイス間の相互学習を自動的にコーディネートするグラフィカルモデルにより,デバイス間の協調グラフを生成する「構造化協調学習(SCooL)」を提案する。 異なる構造を強制するグラフィカルモデルを選択することで、変分推論により、既存の新しい分散学習アルゴリズムの豊富なクラスを導き出すことができる。 特に,dirac分布,確率ブロックモデル(sbm),注意を先行生成協調グラフとして採用するscoolの3つのインスタンス化を示す。 これらのEM型アルゴリズムは、協調グラフの更新と局所モデルの協調学習を交互に行う。 協力グラフを最適化するために、モデル更新を監視するだけで、デバイス間のクロスタスク相関を自動的にキャプチャできる。 我々はSCooLを評価し,既存の分散学習手法と比較し,SCooLがパーソナライズされたモデルの最高精度を常に達成し,通信効率において他のベースラインを著しく上回ることを示す。 私たちのコードはhttps://github.com/ShuangtongLi/SCooL.comで利用可能です。

関連論文リスト

• Self-Supervised Contrastive Graph Clustering Network via Structural Information Fusion [15.293684479404092]
  CGCNと呼ばれる新しいディープグラフクラスタリング手法を提案する。 提案手法では,事前学習プロセスにコントラスト信号と深部構造情報を導入している。 本手法は,複数の実世界のグラフデータセットに対して実験的に検証されている。
  論文  参考訳（メタデータ） (2024-08-08T09:49:26Z)
• MAPL: Model Agnostic Peer-to-peer Learning [2.9221371172659616]
  我々は、異種パーソナライズされたモデルと協調グラフを同時に学習するために、MAPL(Model Agnostic Peer-to-peer Learning)を導入する。 MAPLは、(i)ローカルレベルのパーソナライズドモデルラーニング(PML)と、(ii)ネットワーク全体の分散協調グラフラーニング(CGL)という2つの主要なモジュールから構成され、局所的なタスク類似性に基づいて協調重みを動的に洗練する。
  論文  参考訳（メタデータ） (2024-03-28T19:17:54Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Unrolled Graph Learning for Multi-Agent Collaboration [37.239120967721156]
  人間のコラボレーションにインスパイアされた分散マルチエージェント学習モデルを提案する。 エージェントは、適切なコラボレータを自律的に検出し、より良いパフォーマンスを得るためにコラボレータのモデルを参照することができる。
  論文  参考訳（メタデータ） (2022-10-31T07:05:44Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Towards Similarity-Aware Time-Series Classification [51.2400839966489]
  時系列データマイニングの基本課題である時系列分類(TSC)について検討する。 グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:14:57Z)
• A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
  フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。 本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:57:11Z)
• Privacy-Preserving Object Detection & Localization Using Distributed Machine Learning: A Case Study of Infant Eyeblink Conditioning [1.3022864665437273]
  オブジェクト検出によく使用される2つのアルゴリズムのスケーラブルな分散学習バージョンについて検討する。 医療分野における両アルゴリズムの適用について,心理学・神経科学のパラダイムを用いて検討した。
  論文  参考訳（メタデータ） (2020-10-14T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。