論文の概要: Privacy-Preserving Split Learning with Vision Transformers using Patch-Wise Random and Noisy CutMix

• arxiv url: http://arxiv.org/abs/2408.01040v1
• Date: Fri, 2 Aug 2024 06:24:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 14:17:04.775205
• Title: Privacy-Preserving Split Learning with Vision Transformers using Patch-Wise Random and Noisy CutMix
• Title（参考訳）: Patch-Wise Random と Noisy CutMix を用いた視覚変換器を用いたプライバシ保護スプリット学習
• Authors: Seungeun Oh, Sihun Baek, Jihong Park, Hyelin Nam, Praneeth Vepakomma, Ramesh Raskar, Mehdi Bennis, Seong-Lyun Kim,
• Abstract要約: コンピュータビジョンでは、視覚変換器(ViT)が、精度と堅牢性を改善するために畳み込みニューラルネットワーク(CNN)に取って代わりつつある。 分散学習(SL)は、サーバ側のリソースを活用してViTをトレーニングし、分散デバイスからのプライベートデータを活用する、実行可能なソリューションとして登場した。 本稿では,DP-CutMixSLと呼ばれる,スマッシュデータにガウスノイズを注入し,クライアント間でランダムに選択したスマッシュデータのパッチを混合する,新たなプライバシ保護型SLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.370923655357366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In computer vision, the vision transformer (ViT) has increasingly superseded the convolutional neural network (CNN) for improved accuracy and robustness. However, ViT's large model sizes and high sample complexity make it difficult to train on resource-constrained edge devices. Split learning (SL) emerges as a viable solution, leveraging server-side resources to train ViTs while utilizing private data from distributed devices. However, SL requires additional information exchange for weight updates between the device and the server, which can be exposed to various attacks on private training data. To mitigate the risk of data breaches in classification tasks, inspired from the CutMix regularization, we propose a novel privacy-preserving SL framework that injects Gaussian noise into smashed data and mixes randomly chosen patches of smashed data across clients, coined DP-CutMixSL. Our analysis demonstrates that DP-CutMixSL is a differentially private (DP) mechanism that strengthens privacy protection against membership inference attacks during forward propagation. Through simulations, we show that DP-CutMixSL improves privacy protection against membership inference attacks, reconstruction attacks, and label inference attacks, while also improving accuracy compared to DP-SL and DP-MixSL.
• Abstract（参考訳）: コンピュータビジョンでは、視覚変換器(ViT)が、精度と堅牢性を改善するために畳み込みニューラルネットワーク(CNN)に取って代わりつつある。 しかし、ViTの大きなモデルサイズと高いサンプルの複雑さは、リソース制約のあるエッジデバイスでトレーニングすることを困難にしている。 分散学習(SL)は、サーバ側のリソースを活用してViTをトレーニングし、分散デバイスからのプライベートデータを活用する、実行可能なソリューションとして登場した。 しかし、SLはデバイスとサーバ間の重み更新のために追加の情報交換を必要としており、これはプライベートトレーニングデータに対する様々な攻撃にさらされる可能性がある。 分類タスクにおけるデータ漏洩のリスクを軽減するために,DP-CutMixSLと呼ばれるクライアント間でランダムに選択したスマッシュデータにガウスノイズを注入する新しいプライバシ保護SLフレームワークを提案する。 本分析により,DP-CutMixSLは,プログレッシブ・プロポーザルにおけるメンバーシップ・推論攻撃に対するプライバシー保護を強化する,差分プライベート(DP)機構であることが示された。 シミュレーションにより、DP-CutMixSLは、DP-SLやDP-MixSLと比較して、メンバーシップ推論攻撃、再構築攻撃、ラベル推論攻撃に対するプライバシー保護を改善し、精度も向上することを示した。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Enhancing Accuracy-Privacy Trade-off in Differentially Private Split Learning [2.2676798389997863]
  Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 最近提案されたモデル反転攻撃は、スマッシュされたデータから元のデータを復元することができる。 ディファレンシャルプライバシ(DP)を採用する戦略では、スマッシュされたデータをある程度の精度の損失を犠牲にして保護する。
  論文  参考訳（メタデータ） (2023-10-22T22:45:13Z)
• Split Learning without Local Weight Sharing to Enhance Client-side Data Privacy [11.092451849022268]
  Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 本稿ではまず,SL内のクライアント間の局所的な重み共有から,モデルインバージョン攻撃によるデータプライバシリークが悪化することを明らかにする。 データプライバシーの漏洩問題を解決するために,プライバシ強化型SL(P-SL,ローカルウェイト共有なしSL)を提案し,解析する。
  論文  参考訳（メタデータ） (2022-12-01T03:35:14Z)
• Differentially Private CutMix for Split Learning with Vision Transformer [42.47713044228984]
  ビジョントランス (ViT) はコンピュータビジョンタスクにおける従来のCNNよりも優れている。 ViTを用いた分散学習のプライバシー保護を考えると,DP-CutMixSLを提案する。
  論文  参考訳（メタデータ） (2022-10-28T08:33:29Z)
• Joint Privacy Enhancement and Quantization in Federated Learning [23.36363480217293]
  Federated Learning(FL)は、エッジデバイスで利用可能なプライベートデータを使用して機械学習モデルをトレーニングするための新興パラダイムである。 共同プライバシー強化・量子化法(JoPEQ)を提案する。 所望のプライバシレベルを保持しながら、必要なビットレートに応じてデータを同時に定量化することを示す。
  論文  参考訳（メタデータ） (2022-08-23T11:42:58Z)
• Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning [47.266470238551314]
  この記事では、ビジュアルトランスフォーマー(ViT)アーキテクチャのための分散学習ソリューションを模索する。 ViTはより大きなモデルサイズを持ち、計算コストがかかるため、連邦学習(FL)は不適当である。 そこで本稿では,元のスマッシュデータをランダムにパンチし,圧縮することで,CutSmashedデータの新しい形式を提案する。 我々は、CutSmashedデータを通信する、CutMixSLというViTのための新しいSLフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-07-01T07:00:30Z)
• AirMixML: Over-the-Air Data Mixup for Inherently Privacy-Preserving Edge Machine Learning [54.52660257575346]
  ネットワークエッジにおけるプライバシー保護型機械学習フレームワークであるAirMixMLを提案する。 AirMixMLでは、複数のワーカーがプライベートデータサンプルのアナログ変調信号をエッジサーバに送信し、受信したノイズと重ね合わせのサンプルを使用してMLモデルをトレーニングします。 シミュレーションにより,dirmix(alpha)-pc設計ガイドラインを提供し,精度,プライバシ,エネルギー効率を向上させる。
  論文  参考訳（メタデータ） (2021-05-02T05:45:43Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。