論文の概要: Secure Forward Aggregation for Vertical Federated Neural Networks
- arxiv url: http://arxiv.org/abs/2207.00165v1
- Date: Tue, 28 Jun 2022 03:13:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-10 12:34:41.994412
- Title: Secure Forward Aggregation for Vertical Federated Neural Networks
- Title（参考訳）: 垂直フェデレーションニューラルネットワークのためのセキュアなフォワードアグリゲーション
- Authors: Shuowei Cai, Di Chai, Liu Yang, Junxue Zhang, Yilun Jin, Leye Wang,
Kun Guo, Kai Chen
- Abstract要約: 我々は、垂直フェデレートラーニング(VFL)におけるよく知られたニューラルネットワークフレームワークであるSplitNNについて研究する。
SplitNNは、生データの代わりに変換データを使ってモデルを共同で訓練するため、モデルパフォーマンスの損失に悩まされる。
セキュリティフォワード・アグリゲーション(SFA)と呼ばれる新しいニューラルネットワークプロトコルをVFLで提案する。
実験の結果,SFAのネットワークはデータセキュリティと高モデル性能の両方を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 25.059312670812215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vertical federated learning (VFL) is attracting much attention because it
enables cross-silo data cooperation in a privacy-preserving manner. While most
research works in VFL focus on linear and tree models, deep models (e.g.,
neural networks) are not well studied in VFL. In this paper, we focus on
SplitNN, a well-known neural network framework in VFL, and identify a trade-off
between data security and model performance in SplitNN. Briefly, SplitNN trains
the model by exchanging gradients and transformed data. On the one hand,
SplitNN suffers from the loss of model performance since multiply parties
jointly train the model using transformed data instead of raw data, and a large
amount of low-level feature information is discarded. On the other hand, a
naive solution of increasing the model performance through aggregating at lower
layers in SplitNN (i.e., the data is less transformed and more low-level
feature is preserved) makes raw data vulnerable to inference attacks. To
mitigate the above trade-off, we propose a new neural network protocol in VFL
called Security Forward Aggregation (SFA). It changes the way of aggregating
the transformed data and adopts removable masks to protect the raw data.
Experiment results show that networks with SFA achieve both data security and
high model performance.
- Abstract（参考訳）: 垂直連合学習(VFL)は、プライバシ保護方式でクロスサイロデータの協調を可能にするため、多くの注目を集めている。
VFLにおけるほとんどの研究は線形モデルとツリーモデルに焦点を当てているが、ディープモデル(例えばニューラルネットワーク)はVFLでは十分に研究されていない。
本稿では、VFLでよく知られたニューラルネットワークフレームワークであるSplitNNに注目し、SplitNNにおけるデータセキュリティとモデルパフォーマンスのトレードオフを特定する。
簡単に言えば、SplitNNは勾配と変換データを交換することでモデルをトレーニングする。
一方、SplitNNは、原データの代わりに変換データを用いてモデルを共同で訓練し、大量の低レベル特徴情報を破棄するため、モデル性能の喪失に悩まされている。
一方、SplitNNの下位層に集約することでモデル性能を向上する簡単なソリューション(つまり、データは変換されにくく、低レベルの機能が保存される)は、生データを推論攻撃に弱いものにする。
上記のトレードオフを軽減するために,セキュリティフォワードアグリゲーション(SFA)と呼ばれる,VFLの新しいニューラルネットワークプロトコルを提案する。
変換されたデータを集約する方法を変更し、削除可能なマスクを採用して生データを保護する。
実験の結果,SFAのネットワークはデータセキュリティと高モデル性能の両方を実現していることがわかった。
関連論文リスト
- Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - GLASU: A Communication-Efficient Algorithm for Federated Learning with
Vertically Distributed Graph Data [44.02629656473639]
本稿では,クライアントとサーバ間でバックボーンGNNを分割するモデル分割手法と通信効率のよいGLASUを提案する。
提案アルゴリズムは,実世界のデータセットに対する理論的解析と広範な数値実験を行い,中央集権的な学習を行うと,バックボーンのGNNと性能が一致するGNNモデルを効果的に訓練することを示した。
論文 参考訳（メタデータ） (2023-03-16T17:47:55Z) - Functional Neural Networks: Shift invariant models for functional data
with applications to EEG classification [0.0]
我々は、データのスムーズさを保ちながら不変な新しいタイプのニューラルネットワークを導入する:関数型ニューラルネットワーク(FNN)
そこで我々は,多層パーセプトロンと畳み込みニューラルネットワークを機能データに拡張するために,機能データ分析(FDA)の手法を用いる。
脳波(EEG)データの分類にFNNをうまく利用し,FDAのベンチマークモデルより優れていることを示す。
論文 参考訳（メタデータ） (2023-01-14T09:41:21Z) - On the effectiveness of partial variance reduction in federated learning
with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。
そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。
同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-05T11:56:35Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - GRNN: Generative Regression Neural Network -- A Data Leakage Attack for
Federated Learning [3.050919759387984]
画像ベースのプライバシデータは,提案されたGenerative Regression Neural Network (GRNN) によってのみ,共有グラデーションから簡単に回復できることを示した。
本手法は複数の画像分類タスクで評価する。
その結果,提案したGRNNは,安定性,強度,精度を向上し,最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-05-02T18:39:37Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z) - Learning across label confidence distributions using Filtered Transfer
Learning [0.44040106718326594]
本稿では,大きな可変信頼度データセットを持つノイズの多いデータシステムにおいて,予測能力を向上させるための伝達学習手法を提案する。
本稿では、複数の階層のデータ信頼度を個別のタスクとして定義する、FTL(Filted Transfer Learning)と呼ばれるディープニューラルネットワーク手法を提案する。
FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
論文 参考訳（メタデータ） (2020-06-03T21:00:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。