論文の概要: Federated Learning with Heterogeneous Architectures using Graph
HyperNetworks
- arxiv url: http://arxiv.org/abs/2201.08459v1
- Date: Thu, 20 Jan 2022 21:36:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-24 13:34:21.044753
- Title: Federated Learning with Heterogeneous Architectures using Graph
HyperNetworks
- Title(参考訳): Graph HyperNetworksを用いた異種アーキテクチャによるフェデレーション学習
- Authors: Or Litany, Haggai Maron, David Acuna, Jan Kautz, Gal Chechik, Sanja
Fidler
- Abstract要約: パラメータ共有にグラフハイパーネットワークを採用することにより、異種クライアントアーキテクチャに対応する新しいFLフレームワークを提案する。
既存のソリューションとは異なり、当社のフレームワークは、クライアントが同じアーキテクチャタイプを共有することを制限せず、外部データも使用せず、クライアントがモデルアーキテクチャを公開する必要もありません。
- 参考スコア(独自算出の注目度): 154.60662664160333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Standard Federated Learning (FL) techniques are limited to clients with
identical network architectures. This restricts potential use-cases like
cross-platform training or inter-organizational collaboration when both data
privacy and architectural proprietary are required. We propose a new FL
framework that accommodates heterogeneous client architecture by adopting a
graph hypernetwork for parameter sharing. A property of the graph hyper network
is that it can adapt to various computational graphs, thereby allowing
meaningful parameter sharing across models. Unlike existing solutions, our
framework does not limit the clients to share the same architecture type, makes
no use of external data and does not require clients to disclose their model
architecture. Compared with distillation-based and non-graph hypernetwork
baselines, our method performs notably better on standard benchmarks. We
additionally show encouraging generalization performance to unseen
architectures.
- Abstract(参考訳): Standard Federated Learning (FL)技術は、同一のネットワークアーキテクチャを持つクライアントに限られている。
これにより、データプライバシとアーキテクチャ上のプロプライエタリの両方が必要な場合、クロスプラットフォームトレーニングや組織間コラボレーションといったユースケースが制限される。
パラメータ共有にグラフハイパーネットワークを採用することにより、異種クライアントアーキテクチャに対応する新しいFLフレームワークを提案する。
グラフハイパーネットワークの特性は、様々な計算グラフに適応し、モデル間で有意義なパラメータ共有を可能にすることである。
既存のソリューションとは異なり、このフレームワークはクライアントが同じアーキテクチャタイプを共有することを制限せず、外部データを使用しず、クライアントがモデルアーキテクチャを公開する必要もない。
蒸留および非グラフハイパーネットワークベースラインと比較して,本手法は標準ベンチマークにおいて顕著に優れている。
また、未確認アーキテクチャに対する一般化性能の促進を示す。
関連論文リスト
- FedStruct: Federated Decoupled Learning over Interconnected Graphs [60.9400186721042]
複数のクライアントに分散したグラフ構造化データに対するフェデレーション学習の課題に対処する。
我々は、このシナリオのための新しいフレームワーク、FedStructを紹介します。
半教師付きノード分類のための6つのデータセットを用いて実験結果を用いてFedStructの有効性を検証する。
論文 参考訳(メタデータ) (2024-02-29T13:47:23Z) - Serving Deep Learning Model in Relational Databases [72.72372281808694]
リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。
最先端のDL-Centricアーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。
UDF-Centricアーキテクチャは、データベースシステム内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
potentialRelation-Centricアーキテクチャは、演算子による大規模テンソル計算を表現することを目的としている。
論文 参考訳(メタデータ) (2023-10-07T06:01:35Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。
FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。
FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
論文 参考訳(メタデータ) (2022-02-15T22:16:06Z) - SPIDER: Searching Personalized Neural Architecture for Federated
Learning [17.61748275091843]
フェデレーション・ラーニング(FL)は、プライバシと規制上の制約により、データが集中型サーバと共有できない場合、機械学習を支援する。
FLの最近の進歩は、すべてのクライアントに対して事前定義されたアーキテクチャベースの学習を使用する。
我々は、フェデレート学習のためのパーソナライズされたニューラルアーキテクチャの検索を目的としたアルゴリズムフレームワークであるSPIDERを紹介する。
論文 参考訳(メタデータ) (2021-12-27T23:42:15Z) - Network Graph Based Neural Architecture Search [57.78724765340237]
我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。
グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
論文 参考訳(メタデータ) (2021-12-15T00:12:03Z) - Adversarially Robust Neural Architectures [43.74185132684662]
本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。
本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。
提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
論文 参考訳(メタデータ) (2020-09-02T08:52:15Z) - Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。
本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。
モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
論文 参考訳(メタデータ) (2020-03-30T23:27:25Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。