論文の概要: Graph-Assisted Communication-Efficient Ensemble Federated Learning

• arxiv url: http://arxiv.org/abs/2202.13447v1
• Date: Sun, 27 Feb 2022 20:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 09:15:00.215693
• Title: Graph-Assisted Communication-Efficient Ensemble Federated Learning
• Title（参考訳）: グラフ支援コミュニケーション支援型アンサンブル学習
• Authors: Pouya M Ghari and Yanning Shen
• Abstract要約: コミュニケーション効率は、限られた通信帯域幅のため、連合学習において必要となる。 サーバは事前訓練されたモデルのサブセットを選択し、グラフの構造に基づいてアンサンブルモデルを構築する。 選択されたモデルのみがクライアントに送信されるため、特定の予算制約に違反しない。
• 参考スコア（独自算出の注目度）: 12.538755088321404
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Communication efficiency arises as a necessity in federated learning due to limited communication bandwidth. To this end, the present paper develops an algorithmic framework where an ensemble of pre-trained models is learned. At each learning round, the server selects a subset of pre-trained models to construct the ensemble model based on the structure of a graph, which characterizes the server's confidence in the models. Then only the selected models are transmitted to the clients, such that certain budget constraints are not violated. Upon receiving updates from the clients, the server refines the structure of the graph accordingly. The proposed algorithm is proved to enjoy sub-linear regret bound. Experiments on real datasets demonstrate the effectiveness of our novel approach.
• Abstract（参考訳）: コミュニケーション効率は、限られた通信帯域幅のため、連合学習において必要となる。 そこで本研究では,事前学習したモデルの集合を学習するアルゴリズムフレームワークを開発した。 各学習ラウンドにおいて、サーバは、事前学習されたモデルのサブセットを選択し、グラフの構造に基づいてアンサンブルモデルを構築する。 そして、特定の予算制約に違反しないように、選択されたモデルのみがクライアントに送信される。 クライアントから更新を受け取ると、サーバはそれに従ってグラフの構造を洗練する。 提案アルゴリズムはサブ線形後悔境界を満足することが証明された。 実際のデータセットの実験は、我々の新しいアプローチの有効性を示す。

関連論文リスト

• Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning [22.705411388403036]
  本稿では,新しい個人化フェデレーション学習アルゴリズムを提案する。 各クライアントは、局所的に微調整されたモデルと複数のフェデレートされたモデルを組み合わせることでパーソナライズされたモデルを構築する。 実データセットに関する理論的解析と実験は、このアプローチの有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-10-28T21:20:51Z)
• FedSheafHN: Personalized Federated Learning on Graph-structured Data [22.825083541211168]
  我々はFedSheafHNと呼ばれるモデルを提案し、各クライアントのローカルサブグラフをサーバ構築コラボレーショングラフに埋め込む。 我々のモデルは複雑なクライアント特性の統合と解釈を改善します。 また、高速なモデル収束と効果的な新しいクライアントの一般化も備えている。
  論文  参考訳（メタデータ） (2024-05-25T04:51:41Z)
• Rethinking Personalized Federated Learning with Clustering-based Dynamic Graph Propagation [48.08348593449897]
  本稿では,シンプルながら効果的に個人化できるフェデレーション学習フレームワークを提案する。 私たちは、クライアントをモデルトレーニングステータスとサーバ側のデータ分散に基づいて、複数のクラスタにグループ化します。 我々は3種類の画像ベンチマークデータセットの実験を行い、3種類のタイプで合成されたデータセットを作成する。
  論文  参考訳（メタデータ） (2024-01-29T04:14:02Z)
• Structured Cooperative Learning with Graphical Model Priors [98.53322192624594]
  ローカルデータに制限のある分散デバイス上で、さまざまなタスクに対してパーソナライズされたモデルをトレーニングする方法を研究する。 本稿では,デバイス間の協調グラフをグラフィカルモデルにより生成する「構造化協調学習(SCooL)」を提案する。 SCooLを評価し,既存の分散学習手法と比較した。
  論文  参考訳（メタデータ） (2023-06-16T02:41:31Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。