論文の概要: TabVFL: Improving Latent Representation in Vertical Federated Learning
- arxiv url: http://arxiv.org/abs/2404.17990v1
- Date: Sat, 27 Apr 2024 19:40:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 18:22:24.215264
- Title: TabVFL: Improving Latent Representation in Vertical Federated Learning
- Title（参考訳）: TabVFL: 垂直的フェデレーション学習における潜在表現の改善
- Authors: Mohamed Rashad, Zilong Zhao, Jeremie Decouchant, Lydia Y. Chen,
- Abstract要約: TabVFLは、参加者のジョイント機能を使って潜在表現学習を改善するために設計された分散フレームワークである。
本稿では,参加者の協調的特徴を用いた潜在表現学習の改善を目的とした分散フレームワークTabVFLを提案する。
- 参考スコア（独自算出の注目度）: 6.602969765752305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoencoders are popular neural networks that are able to compress high dimensional data to extract relevant latent information. TabNet is a state-of-the-art neural network model designed for tabular data that utilizes an autoencoder architecture for training. Vertical Federated Learning (VFL) is an emerging distributed machine learning paradigm that allows multiple parties to train a model collaboratively on vertically partitioned data while maintaining data privacy. The existing design of training autoencoders in VFL is to train a separate autoencoder in each participant and aggregate the latent representation later. This design could potentially break important correlations between feature data of participating parties, as each autoencoder is trained on locally available features while disregarding the features of others. In addition, traditional autoencoders are not specifically designed for tabular data, which is ubiquitous in VFL settings. Moreover, the impact of client failures during training on the model robustness is under-researched in the VFL scene. In this paper, we propose TabVFL, a distributed framework designed to improve latent representation learning using the joint features of participants. The framework (i) preserves privacy by mitigating potential data leakage with the addition of a fully-connected layer, (ii) conserves feature correlations by learning one latent representation vector, and (iii) provides enhanced robustness against client failures during training phase. Extensive experiments on five classification datasets show that TabVFL can outperform the prior work design, with 26.12% of improvement on f1-score.
- Abstract（参考訳）: オートエンコーダは、高次元データを圧縮して関連する潜伏情報を抽出できる人気のあるニューラルネットワークである。
TabNetは、トレーニングにオートエンコーダアーキテクチャを使用する、表データ用に設計された最先端のニューラルネットワークモデルである。
Vertical Federated Learning(VFL)は、複数のパーティがデータのプライバシを維持しながら、垂直に分割されたデータ上で協調的にモデルをトレーニングできる、新興の分散機械学習パラダイムである。
VFLにおけるトレーニングオートエンコーダの既存の設計は、各参加者に個別のオートエンコーダを訓練し、後から遅延表現を集約するものである。
この設計は、各オートエンコーダが、他の機能を無視しながら、ローカルに利用可能な機能についてトレーニングされているため、参加者間の重要な相関関係を損なう可能性がある。
さらに、従来のオートエンコーダは、VFL設定でユビキタスな表データのために特別に設計されていない。
さらに、トレーニング中のクライアントの障害がモデルロバスト性に与える影響は、VFLシーンであまり研究されていない。
本稿では,参加者の協調的特徴を用いた潜在表現学習の改善を目的とした分散フレームワークTabVFLを提案する。
枠組み
i) 完全な接続層の追加により潜在的なデータ漏洩を軽減し、プライバシを保護する。
(ii)1つの潜在表現ベクトルを学習して特徴相関を保存し、
(iii) トレーニングフェーズにおけるクライアントの障害に対する堅牢性の向上。
5つの分類データセットの大規模な実験により、TabVFLはf1スコアの26.12%の改善により、以前の設計より優れていることが示された。
関連論文リスト
- UIFV: Data Reconstruction Attack in Vertical Federated Learning [5.404398887781436]
Vertical Federated Learning (VFL)は、参加者が生のプライベートデータを共有することなく、協調的な機械学習を促進する。
近年の研究では、学習プロセス中にデータ漏洩によって、敵が機密性を再構築する可能性のあるプライバシーリスクが明らかにされている。
我々の研究は、実用的なVFLアプリケーションに真の脅威をもたらす、VFLシステム内の深刻なプライバシー上の脆弱性を露呈する。
論文 参考訳（メタデータ） (2024-06-18T13:18:52Z) - Vertical Federated Learning Hybrid Local Pre-training [4.31644387824845]
垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。
VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。
そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
論文 参考訳（メタデータ） (2024-05-20T08:57:39Z) - Decoupled Vertical Federated Learning for Practical Training on
Vertically Partitioned Data [9.84489449520821]
本稿では,垂直的フェデレート学習(VFL)に対するブロックワイズ学習手法を提案する。
VFLでは、ホストクライアントがエンティティごとにデータラベルを所有し、すべてのゲストクライアントから中間的なローカル表現に基づいて最終表現を学習する。
分割ニューラルネットワークをトレーニングするためにDVFLを実装し、様々な分類データセット上でモデル性能がVFLに匹敵することを示す。
論文 参考訳（メタデータ） (2024-03-06T17:23:28Z) - Privacy-preserving design of graph neural networks with applications to
vertical federated learning [56.74455367682945]
VESPERと呼ばれるエンドツーエンドのグラフ表現学習フレームワークを提案する。
VESPERは、適切なプライバシー予算の下でスパースグラフと密度グラフの両方で高性能なGNNモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2023-10-31T15:34:59Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - GTV: Generating Tabular Data via Vertical Federated Learning [20.683314367860532]
我々はGAN(Generative Adversarial Networks)のためのVFLフレームワークであるGTVを提案する。
GTVは、プライバシ保存方式でトレーニングデータにアクセスするためのジェネレータと識別器のためのユニークな分散トレーニングアーキテクチャを提案する。
その結果,GTV は集中型 GAN アルゴリズムで生成したデータに匹敵する高忠実な合成データを連続的に生成できることがわかった。
論文 参考訳（メタデータ） (2023-02-03T13:04:12Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - FairVFL: A Fair Vertical Federated Learning Framework with Contrastive
Adversarial Learning [102.92349569788028]
本稿では,VFLモデルの公平性を改善するために,FairVFL( Fair vertical federated learning framework)を提案する。
FairVFLの中核となる考え方は、分散化された機能フィールドに基づいたサンプルの統一的で公正な表現を、プライバシ保護の方法で学習することである。
ユーザのプライバシ保護のために,サーバ内の統一表現からプライベート情報を除去する対向学習手法を提案する。
論文 参考訳（メタデータ） (2022-06-07T11:43:32Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳（メタデータ） (2021-09-19T22:57:23Z) - Achieving Model Fairness in Vertical Federated Learning [47.8598060954355]
垂直連合学習(VFL)は、複数の企業が重複しない機能を保有して、プライベートデータやモデルパラメータを開示することなく、機械学習モデルを強化することを可能にする。
VFLは公平性の問題に悩まされており、すなわち、学習されたモデルはセンシティブな属性を持つグループに対して不公平に差別的である可能性がある。
この問題に対処するための公平なVFLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-17T04:40:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。