論文の概要: Graph Federated Learning with Hidden Representation Sharing
- arxiv url: http://arxiv.org/abs/2212.12158v1
- Date: Fri, 23 Dec 2022 05:44:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 17:02:37.821940
- Title: Graph Federated Learning with Hidden Representation Sharing
- Title（参考訳）: 隠れ表現共有によるグラフフェデレーション学習
- Authors: Shuang Wu, Mingxuan Zhang, Yuantong Li, Carl Yang, Pan Li
- Abstract要約: グラフの学習 (Learning on Graphs, LoG) は、各クライアントがローカルデータが不十分な場合、マルチクライアントシステムで広く利用されている。
フェデレートラーニング(FL)では、モデルをマルチクライアントシステムでトレーニングし、クライアント間で生データを共有する必要がある。
本稿では,まず,マルチクライアントシステムにおいてLoG FLを統一するグラフフェデレーション学習(GFL)問題を定式化し,次に隠れ表現の共有を提案する。
- 参考スコア（独自算出の注目度）: 33.01999333117515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning on Graphs (LoG) is widely used in multi-client systems when each
client has insufficient local data, and multiple clients have to share their
raw data to learn a model of good quality. One scenario is to recommend items
to clients with limited historical data and sharing similar preferences with
other clients in a social network. On the other hand, due to the increasing
demands for the protection of clients' data privacy, Federated Learning (FL)
has been widely adopted: FL requires models to be trained in a multi-client
system and restricts sharing of raw data among clients. The underlying
potential data-sharing conflict between LoG and FL is under-explored and how to
benefit from both sides is a promising problem. In this work, we first
formulate the Graph Federated Learning (GFL) problem that unifies LoG and FL in
multi-client systems and then propose sharing hidden representation instead of
the raw data of neighbors to protect data privacy as a solution. To overcome
the biased gradient problem in GFL, we provide a gradient estimation method and
its convergence analysis under the non-convex objective. In experiments, we
evaluate our method in classification tasks on graphs. Our experiment shows a
good match between our theory and the practice.
- Abstract（参考訳）: グラフ上での学習(log)は、各クライアントがローカルデータに不足している場合、マルチクライアントシステムで広く使われ、複数のクライアントは、高品質のモデルを学ぶために生のデータを共有する必要がある。
ひとつのシナリオは、履歴データに制限のあるクライアントに対してアイテムを推奨し、ソーシャルネットワーク内の他のクライアントと同様の好みを共有することである。
一方で、クライアントのデータプライバシ保護の要求が増大していることから、fl(federated learning)が広く採用されている。
LoGとFLの潜在的なデータ共有の対立は未解決であり、双方の利益を得る方法は有望な問題である。
本稿では,まず,マルチクライアントシステムにおいてログとflを統一するグラフフェデレーション学習(gfl)問題を定式化し,その解としてデータプライバシを保護するために,隣人の生データの代わりに隠れ表現を共有することを提案する。
GFLの偏り勾配問題を克服するために,非凸対象下での勾配推定法とその収束解析を提案する。
実験では,本手法をグラフ上の分類タスクで評価する。
我々の実験は我々の理論と実践のよい一致を示している。
関連論文リスト
- Personalized federated learning based on feature fusion [2.943623084019036]
フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。
pFedPMと呼ばれる個人化学習手法を提案する。
このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
論文 参考訳（メタデータ） (2024-06-24T12:16:51Z) - Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。
従来の偽造検出手法は、データを直接集中的に訓練する。
本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
論文 参考訳（メタデータ） (2024-06-17T02:20:30Z) - FedGeo: Privacy-Preserving User Next Location Prediction with Federated
Learning [27.163370946895697]
ユーザ次位置予測(UNLP)タスクは、ユーザが与えられた軌道に移動する次の位置を予測するもので、幅広いアプリケーションにとって必須のタスクである。
単一サーバにおける大規模トラジェクトリデータセットを用いた従来の研究は、UNLPタスクにおいて顕著な性能を達成している。
現実世界のアプリケーションでは、プライバシーに関する法的および倫理的な問題が提起され、人間の軌道データセットを他のサーバーと共有することを禁じられている。
論文 参考訳（メタデータ） (2023-12-06T01:43:58Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳（メタデータ） (2022-01-25T04:43:29Z) - Game of Gradients: Mitigating Irrelevant Clients in Federated Learning [3.2095659532757916]
フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で、機械学習モデルの協調トレーニングに参加する複数のクライアントを扱う。
この設定では、各クライアントのデータは自身にプライベートであり、他のクライアントやサーバに転送できない。
我々はこれらの問題をFederated Relevant Client Selection (FRCS)と呼ぶ。
論文 参考訳（メタデータ） (2021-10-23T16:34:42Z) - Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文 参考訳（メタデータ） (2021-05-31T17:54:29Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。