論文の概要: Federated Learning with Heterogeneous Architectures using Graph HyperNetworks

• arxiv url: http://arxiv.org/abs/2201.08459v1
• Date: Thu, 20 Jan 2022 21:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-24 13:34:21.044753
• Title: Federated Learning with Heterogeneous Architectures using Graph HyperNetworks
• Title（参考訳）: Graph HyperNetworksを用いた異種アーキテクチャによるフェデレーション学習
• Authors: Or Litany, Haggai Maron, David Acuna, Jan Kautz, Gal Chechik, Sanja Fidler
• Abstract要約: パラメータ共有にグラフハイパーネットワークを採用することにより、異種クライアントアーキテクチャに対応する新しいFLフレームワークを提案する。 既存のソリューションとは異なり、当社のフレームワークは、クライアントが同じアーキテクチャタイプを共有することを制限せず、外部データも使用せず、クライアントがモデルアーキテクチャを公開する必要もありません。
• 参考スコア（独自算出の注目度）: 154.60662664160333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard Federated Learning (FL) techniques are limited to clients with identical network architectures. This restricts potential use-cases like cross-platform training or inter-organizational collaboration when both data privacy and architectural proprietary are required. We propose a new FL framework that accommodates heterogeneous client architecture by adopting a graph hypernetwork for parameter sharing. A property of the graph hyper network is that it can adapt to various computational graphs, thereby allowing meaningful parameter sharing across models. Unlike existing solutions, our framework does not limit the clients to share the same architecture type, makes no use of external data and does not require clients to disclose their model architecture. Compared with distillation-based and non-graph hypernetwork baselines, our method performs notably better on standard benchmarks. We additionally show encouraging generalization performance to unseen architectures.
• Abstract（参考訳）: Standard Federated Learning (FL)技術は、同一のネットワークアーキテクチャを持つクライアントに限られている。 これにより、データプライバシとアーキテクチャ上のプロプライエタリの両方が必要な場合、クロスプラットフォームトレーニングや組織間コラボレーションといったユースケースが制限される。 パラメータ共有にグラフハイパーネットワークを採用することにより、異種クライアントアーキテクチャに対応する新しいFLフレームワークを提案する。 グラフハイパーネットワークの特性は、様々な計算グラフに適応し、モデル間で有意義なパラメータ共有を可能にすることである。 既存のソリューションとは異なり、このフレームワークはクライアントが同じアーキテクチャタイプを共有することを制限せず、外部データを使用しず、クライアントがモデルアーキテクチャを公開する必要もない。 蒸留および非グラフハイパーネットワークベースラインと比較して,本手法は標準ベンチマークにおいて顕著に優れている。 また、未確認アーキテクチャに対する一般化性能の促進を示す。

関連論文リスト

• Federated Graph Learning with Graphless Clients [52.5629887481768]
  FGL(Federated Graph Learning)は、グラフニューラルネットワーク(GNN)などの機械学習モデルをトレーニングするタスクである。 グラフレスクライアントを用いたFGLにおける問題に対処するための新しいフレームワークFedGLSを提案する。
  論文  参考訳（メタデータ） (2024-11-13T06:54:05Z)
• Federated Learning with Flexible Architectures [12.800116749927266]
  本稿では,フレキシブルアーキテクチャを用いたフェデレートラーニング(FedFA)について紹介する。 FedFAは、モデルアグリゲーション中に、クライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるために、レイヤグラフト技術を導入している。
  論文  参考訳（メタデータ） (2024-06-14T09:44:46Z)
• FedSheafHN: Personalized Federated Learning on Graph-structured Data [22.825083541211168]
  我々はFedSheafHNと呼ばれるモデルを提案し、各クライアントのローカルサブグラフをサーバ構築コラボレーショングラフに埋め込む。 我々のモデルは複雑なクライアント特性の統合と解釈を改善します。 また、高速なモデル収束と効果的な新しいクライアントの一般化も備えている。
  論文  参考訳（メタデータ） (2024-05-25T04:51:41Z)
• MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
  一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。 本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。 提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
  論文  参考訳（メタデータ） (2024-04-14T12:22:42Z)
• Serving Deep Learning Model in Relational Databases [70.53282490832189]
  リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。 最先端のDL中心アーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。 UDF中心アーキテクチャの可能性は、リレーショナルデータベース管理システム(RDBMS)内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
  論文  参考訳（メタデータ） (2023-10-07T06:01:35Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
  この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。 FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。 FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
  論文  参考訳（メタデータ） (2022-02-15T22:16:06Z)
• SPIDER: Searching Personalized Neural Architecture for Federated Learning [17.61748275091843]
  フェデレーション・ラーニング(FL)は、プライバシと規制上の制約により、データが集中型サーバと共有できない場合、機械学習を支援する。 FLの最近の進歩は、すべてのクライアントに対して事前定義されたアーキテクチャベースの学習を使用する。 我々は、フェデレート学習のためのパーソナライズされたニューラルアーキテクチャの検索を目的としたアルゴリズムフレームワークであるSPIDERを紹介する。
  論文  参考訳（メタデータ） (2021-12-27T23:42:15Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
  ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。 本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。 モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
  論文  参考訳（メタデータ） (2020-03-30T23:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。