論文の概要: Federated Transformer: Multi-Party Vertical Federated Learning on Practical Fuzzily Linked Data

• arxiv url: http://arxiv.org/abs/2410.17986v1
• Date: Wed, 23 Oct 2024 16:00:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:19.435230
• Title: Federated Transformer: Multi-Party Vertical Federated Learning on Practical Fuzzily Linked Data
• Title（参考訳）: Federated Transformer: ファジィリンクデータに基づく多人数垂直フェデレーション学習
• Authors: Zhaomin Wu, Junyi Hou, Yiqun Diao, Bingsheng He,
• Abstract要約: ファジィ識別子を持つ多人数ファジィVFLをサポートする新しいフレームワークFeTを紹介する。 実験の結果,FeTは50個までスケールした場合の精度で,ベースラインモデルを最大46%超えることがわかった。 2パーティファジィなVFL設定では、FeTは最先端のVFLモデルよりもパフォーマンスとプライバシが改善されている。
• 参考スコア（独自算出の注目度）: 27.073959939557362
• License:
• Abstract: Federated Learning (FL) is an evolving paradigm that enables multiple parties to collaboratively train models without sharing raw data. Among its variants, Vertical Federated Learning (VFL) is particularly relevant in real-world, cross-organizational collaborations, where distinct features of a shared instance group are contributed by different parties. In these scenarios, parties are often linked using fuzzy identifiers, leading to a common practice termed as multi-party fuzzy VFL. Existing models generally address either multi-party VFL or fuzzy VFL between two parties. Extending these models to practical multi-party fuzzy VFL typically results in significant performance degradation and increased costs for maintaining privacy. To overcome these limitations, we introduce the Federated Transformer (FeT), a novel framework that supports multi-party VFL with fuzzy identifiers. FeT innovatively encodes these identifiers into data representations and employs a transformer architecture distributed across different parties, incorporating three new techniques to enhance performance. Furthermore, we have developed a multi-party privacy framework for VFL that integrates differential privacy with secure multi-party computation, effectively protecting local representations while minimizing associated utility costs. Our experiments demonstrate that the FeT surpasses the baseline models by up to 46\% in terms of accuracy when scaled to 50 parties. Additionally, in two-party fuzzy VFL settings, FeT also shows improved performance and privacy over cutting-edge VFL models.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のパーティが生データを共有せずに協力的にモデルをトレーニングできる進化したパラダイムである。 変種の中では、VFL(Vertical Federated Learning)は、特に実世界の、組織横断的なコラボレーションに関係しており、共有インスタンスグループの異なる特徴が、異なるパーティによって貢献されている。 これらのシナリオでは、パーティはファジィ識別子を使ってリンクされることが多く、マルチパーティファジィVFLと呼ばれる一般的なプラクティスにつながります。 既存のモデルは一般に、複数のパーティ間のVFLまたはファジィVFLに対処する。 これらのモデルを実用的マルチパーティファジィVFLに拡張すると、通常、パフォーマンスが大幅に低下し、プライバシを維持するためのコストが増大する。 これらの制限を克服するために,ファジィ識別子を持つ多人数VFLをサポートする新しいフレームワークFeT(Feerated Transformer)を導入する。 FeTは、これらの識別子を革新的な方法でデータ表現にエンコードし、異なるパーティに分散したトランスフォーマーアーキテクチャを採用し、パフォーマンスを高めるために3つの新しいテクニックを取り入れている。 さらに,VFLのためのマルチパーティプライバシフレームワークを開発した。これは,差分プライバシとセキュアなマルチパーティ計算を統合し,ローカル表現を効果的に保護し,関連するユーティリティコストを最小限に抑える。 実験の結果,FeTは50個までスケールした場合,最大46倍の精度でベースラインモデルを上回ることがわかった。 さらに、2パーティファジィなVFL設定では、FeTは最先端のVFLモデルよりもパフォーマンスとプライバシが改善されている。

関連論文リスト

• TabVFL: Improving Latent Representation in Vertical Federated Learning [6.602969765752305]
  TabVFLは、参加者のジョイント機能を使って潜在表現学習を改善するために設計された分散フレームワークである。 本稿では,参加者の協調的特徴を用いた潜在表現学習の改善を目的とした分散フレームワークTabVFLを提案する。
  論文  参考訳（メタデータ） (2024-04-27T19:40:35Z)
• A Bargaining-based Approach for Feature Trading in Vertical Federated Learning [54.51890573369637]
  本稿では,垂直的フェデレートラーニング(VFL)において,経済的に効率的な取引を促進するための交渉型特徴取引手法を提案する。 当社のモデルでは,収益ベース最適化の目的を考慮し,パフォーマンスゲインベースの価格設定を取り入れている。
  論文  参考訳（メタデータ） (2024-02-23T10:21:07Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• Hijack Vertical Federated Learning Models As One Party [43.095945038428404]
  Vertical Federated Learning(VFL)は、コラボレーション者が分散形式で機械学習モデルを一緒に構築できるようにする、新たなパラダイムである。 既存のVFLフレームワークは、データのプライバシとセキュリティ保証を提供するために暗号化技術を使用している。
  論文  参考訳（メタデータ） (2022-12-01T07:12:38Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• BlindFL: Vertical Federated Machine Learning without Peeking into Your Data [20.048695060411774]
  垂直連合学習(VFL)は、さまざまな参加者のプライベートデータに基づいてMLモデルを構築する場合を記述している。 本稿では,VFLトレーニングと推論のための新しいフレームワークであるBlindFLを紹介する。 BlindFLは、堅牢なプライバシー保証を達成しつつ、多様なデータセットやモデルを効率的にサポートする。
  論文  参考訳（メタデータ） (2022-06-16T07:26:50Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• EFMVFL: An Efficient and Flexible Multi-party Vertical Federated Learning without a Third Party [7.873139977724476]
  フェデレートラーニング(Federated Learning)は、複数の参加者が、ローカルデータを開示することなく、共同でモデリングを行うことを可能にする。 EFMVFLと呼ばれるサードパーティを使わずに新しいVFLフレームワークを提案する。 私たちのフレームワークはセキュアで、より効率的で、複数の参加者に拡張が容易です。
  論文  参考訳（メタデータ） (2022-01-17T07:06:21Z)
• Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating [159.48259714642447]
  垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。 我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:34:53Z)
• Multi-Participant Multi-Class Vertical Federated Learning [16.75182305714081]
  本稿では,多人数VFL問題に対する多人数多人数垂直フェデレート学習(MMVFL)フレームワークを提案する。 MMVFLは、所有者から他のVFL参加者へのラベルの共有をプライバシー保護の方法で行うことができる。 実世界のデータセットを用いた実験結果から,MMVFLは複数のVFL参加者間でラベル情報を効果的に共有し,既存手法のマルチクラス分類性能と一致させることができることがわかった。
  論文  参考訳（メタデータ） (2020-01-30T02:39:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。