論文の概要: Federated Learning with Position-Aware Neurons

• arxiv url: http://arxiv.org/abs/2203.14666v1
• Date: Mon, 28 Mar 2022 11:43:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 02:07:12.786975
• Title: Federated Learning with Position-Aware Neurons
• Title（参考訳）: 位置認識ニューロンを用いた連合学習
• Authors: Xin-Chun Li and Yi-Chu Xu and Shaoming Song and Bingshuai Li and Yinchuan Li and Yunfeng Shao and De-Chuan Zhan
• Abstract要約: Federated Learning (FL)は、ユーザのデータを集中化せずに、ローカルノードからのコラボレーティブモデルを融合する。 従来のニューロンは位置情報を明示的に考慮していない。 代替として位置認識ニューロン(PAN)を提案する。
• 参考スコア（独自算出の注目度）: 28.418960595133235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) fuses collaborative models from local nodes without centralizing users' data. The permutation invariance property of neural networks and the non-i.i.d. data across clients make the locally updated parameters imprecisely aligned, disabling the coordinate-based parameter averaging. Traditional neurons do not explicitly consider position information. Hence, we propose Position-Aware Neurons (PANs) as an alternative, fusing position-related values (i.e., position encodings) into neuron outputs. PANs couple themselves to their positions and minimize the possibility of dislocation, even updating on heterogeneous data. We turn on/off PANs to disable/enable the permutation invariance property of neural networks. PANs are tightly coupled with positions when applied to FL, making parameters across clients pre-aligned and facilitating coordinate-based parameter averaging. PANs are algorithm-agnostic and could universally improve existing FL algorithms. Furthermore, "FL with PANs" is simple to implement and computationally friendly.
• Abstract（参考訳）: Federated Learning (FL)は、ユーザのデータを集中化せずに、ローカルノードからのコラボレーティブモデルを融合する。 ニューラルネットワークとクライアント間の非i.i.d.データの置換不変性は、局所更新されたパラメータを不規則にアライメントさせ、座標ベースのパラメータ平均化を無効にする。 従来のニューロンは位置情報を明示的に考慮しない。 そこで我々は,位置認識ニューロン(PAN)を代替として,位置関連値(位置エンコーディング)をニューロン出力に融合させる手法を提案する。 panは自身の位置と結合し、異種データの更新でさえも、転位の可能性を最小限に抑える。 我々はPANをオン/オフし、ニューラルネットワークの置換不変性を無効/可能とする。 panはflに適用すると位置と強く結合し、クライアント間のパラメータを事前調整し、座標ベースのパラメータ平均化を容易にする。 panはアルゴリズムに依存しず、既存のflアルゴリズムを普遍的に改善することができる。 さらに、"FL with PANs" は実装が簡単で、計算に親しみやすい。

関連論文リスト

• FedSelect: Personalized Federated Learning with Customized Selection of Parameters for Fine-Tuning [9.22574528776347]
  FedSelect は Lottery Ticket 仮説に使用される反復的なサブネットワーク発見手順にインスパイアされた新しい PFL アルゴリズムである。 我々は、FedSelectがクライアントデータの不均一性設定に挑戦して、最近の最先端のPFLアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-03T05:36:21Z)
• Mixing-Denoising Generalizable Occupancy Networks [10.316008740970037]
  現在の最先端の暗黙のニューラル形状モデルは、畳み込みの帰納的バイアスに依存している。 固有モデルバイアスを緩和し、再構成タスクに関連する補助正規化で仮説空間を制約する。 結果として得られたモデルは、ポイントクラウドネットワークからローカルに条件付けされた最初のMLPである。
  論文  参考訳（メタデータ） (2023-11-20T19:05:57Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Personalized Subgraph Federated Learning [56.52903162729729]
  本稿では,新たなサブグラフFL問題,パーソナライズされたサブグラフFLを導入する。 本稿では,Federated Personalized sUBgraph Learning (FED-PUB)を提案する。 オーバーラップしないサブグラフとオーバーラップするサブグラフの両方を考慮して,FED-PUBのサブグラフFL性能を6つのデータセットで検証した。
  論文  参考訳（メタデータ） (2022-06-21T09:02:53Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)
• NP-PROV: Neural Processes with Position-Relevant-Only Variances [113.20013269514327]
  位置関連性オンリーバリアース(NP-PROV)を有するニューラルプロセスと呼ばれる新しいメンバーを提案する。 NP-PROVは、その位置の関数値に関係なく、コンテキストポイントに近いターゲットポイントが小さな不確実性を持つという仮説を立てている。 我々は, NP-PROVが有界分散を維持しつつ, 最先端の可能性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-06-15T06:11:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。