論文の概要: Differentially Private CutMix for Split Learning with Vision Transformer

• arxiv url: http://arxiv.org/abs/2210.15986v1
• Date: Fri, 28 Oct 2022 08:33:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 15:59:10.964581
• Title: Differentially Private CutMix for Split Learning with Vision Transformer
• Title（参考訳）: 視覚トランスフォーマーを用いた分割学習のための微分プライベートカットミックス
• Authors: Seungeun Oh, Jihong Park, Sihun Baek, Hyelin Nam, Praneeth Vepakomma, Ramesh Raskar, Mehdi Bennis, Seong-Lyun Kim
• Abstract要約: ビジョントランス (ViT) はコンピュータビジョンタスクにおける従来のCNNよりも優れている。 ViTを用いた分散学習のプライバシー保護を考えると,DP-CutMixSLを提案する。
• 参考スコア（独自算出の注目度）: 42.47713044228984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, vision transformer (ViT) has started to outpace the conventional CNN in computer vision tasks. Considering privacy-preserving distributed learning with ViT, federated learning (FL) communicates models, which becomes ill-suited due to ViT' s large model size and computing costs. Split learning (SL) detours this by communicating smashed data at a cut-layer, yet suffers from data privacy leakage and large communication costs caused by high similarity between ViT' s smashed data and input data. Motivated by this problem, we propose DP-CutMixSL, a differentially private (DP) SL framework by developing DP patch-level randomized CutMix (DP-CutMix), a novel privacy-preserving inter-client interpolation scheme that replaces randomly selected patches in smashed data. By experiment, we show that DP-CutMixSL not only boosts privacy guarantees and communication efficiency, but also achieves higher accuracy than its Vanilla SL counterpart. Theoretically, we analyze that DP-CutMix amplifies R\'enyi DP (RDP), which is upper-bounded by its Vanilla Mixup counterpart.
• Abstract（参考訳）: 近年,視覚トランスフォーマ(vit)は,従来のコンピュータビジョンタスクのcnnを上回っている。 vitによるプライバシ保存型分散学習を考えると、フェデレーション学習(fl)はモデルと通信する。 スプリットラーニング(SL)は、切断層でスマッシュデータを通信することでこれを回避しているが、ViTのスマッシュデータと入力データとの高い類似性に起因するデータプライバシリークと大きな通信コストに悩まされている。 そこで,本研究ではdp-cutmixslを提案する。dp patch-level randomized cutmix (dp-cutmix)は,ランダムに選択されたパッチを代替する,新しいプライバシ保存型クライアント間補間方式である。 実験により,DP-CutMixSLはプライバシー保証と通信効率を向上するだけでなく,Vanilla SLよりも高い精度を実現することが示された。 理論的には、DP-CutMixはR'enyi DP(RDP)を増幅する。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Privacy-Preserving Split Learning with Vision Transformers using Patch-Wise Random and Noisy CutMix [38.370923655357366]
  コンピュータビジョンでは、視覚変換器(ViT)が、精度と堅牢性を改善するために畳み込みニューラルネットワーク(CNN)に取って代わりつつある。 分散学習(SL)は、サーバ側のリソースを活用してViTをトレーニングし、分散デバイスからのプライベートデータを活用する、実行可能なソリューションとして登場した。 本稿では,DP-CutMixSLと呼ばれる,スマッシュデータにガウスノイズを注入し,クライアント間でランダムに選択したスマッシュデータのパッチを混合する,新たなプライバシ保護型SLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T06:24:39Z)
• Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning [47.266470238551314]
  この記事では、ビジュアルトランスフォーマー(ViT)アーキテクチャのための分散学習ソリューションを模索する。 ViTはより大きなモデルサイズを持ち、計算コストがかかるため、連邦学習(FL)は不適当である。 そこで本稿では,元のスマッシュデータをランダムにパンチし,圧縮することで,CutSmashedデータの新しい形式を提案する。 我々は、CutSmashedデータを通信する、CutMixSLというViTのための新しいSLフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-07-01T07:00:30Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• On the Convergence and Calibration of Deep Learning with Differential Privacy [12.297499996547925]
  差分プライベート(DP)トレーニングは、データプライバシを通常、収束を遅くするコストで保持する。 ノイズ付加はプライバシーリスクにのみ影響するが、収束や校正には影響しない。 対照的に、大きなクリッピング規範で訓練されたDPモデルは、同じプライバシー保証と類似の精度を享受するが、はるかにテキスト化されている。
  論文  参考訳（メタデータ） (2021-06-15T01:32:29Z)
• Wireless Federated Learning with Limited Communication and Differential Privacy [21.328507360172203]
  本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
  論文  参考訳（メタデータ） (2021-06-01T15:23:12Z)
• AirMixML: Over-the-Air Data Mixup for Inherently Privacy-Preserving Edge Machine Learning [54.52660257575346]
  ネットワークエッジにおけるプライバシー保護型機械学習フレームワークであるAirMixMLを提案する。 AirMixMLでは、複数のワーカーがプライベートデータサンプルのアナログ変調信号をエッジサーバに送信し、受信したノイズと重ね合わせのサンプルを使用してMLモデルをトレーニングします。 シミュレーションにより,dirmix(alpha)-pc設計ガイドラインを提供し,精度,プライバシ,エネルギー効率を向上させる。
  論文  参考訳（メタデータ） (2021-05-02T05:45:43Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。