論文の概要: I can't see it but I can Fine-tune it: On Encrypted Fine-tuning of Transformers using Fully Homomorphic Encryption

• arxiv url: http://arxiv.org/abs/2402.09059v1
• Date: Wed, 14 Feb 2024 10:15:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 16:07:43.474945
• Title: I can't see it but I can Fine-tune it: On Encrypted Fine-tuning of Transformers using Fully Homomorphic Encryption
• Title（参考訳）: 完全な準同型暗号を用いたトランスフォーマーの暗号化微調整について
• Authors: Prajwal Panzade, Daniel Takabi, Zhipeng Cai
• Abstract要約: BlindTunerは、画像分類のための同型暗号化データのみを対象としたトランスフォーマートレーニングを可能にする、プライバシー保護のための微調整システムである。 以上の結果から,従来よりも1.5倍から600倍の速度向上が見られた。
• 参考スコア（独自算出の注目度）: 5.12893315783096
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In today's machine learning landscape, fine-tuning pretrained transformer models has emerged as an essential technique, particularly in scenarios where access to task-aligned training data is limited. However, challenges surface when data sharing encounters obstacles due to stringent privacy regulations or user apprehension regarding personal information disclosure. Earlier works based on secure multiparty computation (SMC) and fully homomorphic encryption (FHE) for privacy-preserving machine learning (PPML) focused more on privacy-preserving inference than privacy-preserving training. In response, we introduce BlindTuner, a privacy-preserving fine-tuning system that enables transformer training exclusively on homomorphically encrypted data for image classification. Our extensive experimentation validates BlindTuner's effectiveness by demonstrating comparable accuracy to non-encrypted models. Notably, our findings highlight a substantial speed enhancement of 1.5x to 600x over previous work in this domain.
• Abstract（参考訳）: 今日の機械学習の世界では、微調整された事前学習されたトランスフォーマーモデルが、特にタスクアライメントトレーニングデータへのアクセスが制限されるシナリオにおいて、必須の技術として登場している。 しかし、データ共有が厳格なプライバシー規制や個人情報開示に関するユーザの理解によって障害に直面すると、課題が表面化する。 以前は、プライバシ保存機械学習(PPML)のためのセキュアなマルチパーティ計算(SMC)と完全同型暗号化(FHE)に基づいていた。 これに対してBlindTunerは,画像分類のための同型暗号化データのみを対象としたトランスフォーマートレーニングを可能にする,プライバシー保護のための微調整システムである。 我々はBlindTunerの有効性を非暗号化モデルに匹敵する精度で検証した。 特に、この領域における以前の研究よりも1.5倍から600倍のスピード向上が見られた。

関連論文リスト

• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Privacy-Preserving Deep Learning Using Deformable Operators for Secure Task Learning [14.187385349716518]
  既存のプライバシー保護方法は、画像暗号化や知覚変換アプローチに依存している。 安全なタスク学習に変形可能な演算子の集合を用いる新しいプライバシ保存フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-08T19:46:20Z)
• Love or Hate? Share or Split? Privacy-Preserving Training Using Split Learning and Homomorphic Encryption [47.86010265348072]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-09-19T10:56:08Z)
• Diff-Privacy: Diffusion-based Face Privacy Protection [58.1021066224765]
  本稿では,Diff-Privacyと呼ばれる拡散モデルに基づく顔のプライバシー保護手法を提案する。 具体的には、提案したマルチスケール画像インバージョンモジュール(MSI)をトレーニングし、元の画像のSDMフォーマット条件付き埋め込みのセットを得る。 本研究は,条件付き埋め込みに基づいて,組込みスケジューリング戦略を設計し,デノナイズプロセス中に異なるエネルギー関数を構築し,匿名化と視覚的アイデンティティ情報隠蔽を実現する。
  論文  参考訳（メタデータ） (2023-09-11T09:26:07Z)
• Robust Representation Learning for Privacy-Preserving Machine Learning: A Multi-Objective Autoencoder Approach [0.9831489366502302]
  プライバシー保護機械学習(ppML)のための堅牢な表現学習フレームワークを提案する。 提案手法は,多目的方式でオートエンコーダを訓練することを中心に,符号化部からの潜伏と学習の特徴を符号化形式として結合する。 提案したフレームワークでは、元のフォームを公開せずに、データを共有し、サードパーティツールを使用することができます。
  論文  参考訳（メタデータ） (2023-09-08T16:41:25Z)
• Human-imperceptible, Machine-recognizable Images [76.01951148048603]
  より良い開発AIシステムと、センシティブなトレーニングデータから距離を置くことの間の、ソフトウェアエンジニアに関する大きな対立が露呈している。 画像が暗号化され、人間に認識され、機械に認識される」という、効率的なプライバシー保護学習パラダイムを提案する。 提案手法は,機械が認識可能な情報を保存しながら,暗号化された画像が人間に認識されなくなることを保証できることを示す。
  論文  参考訳（メタデータ） (2023-06-06T13:41:37Z)
• When approximate design for fast homomorphic computation provides differential privacy guarantees [0.08399688944263842]
  差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。 本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。 たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
  論文  参考訳（メタデータ） (2023-04-06T09:38:01Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• Protecting Data from all Parties: Combining FHE and DP in Federated Learning [0.09176056742068812]
  トレーニングデータのプライバシに関して,拡張脅威モデルに対処するセキュアなフレームワークを提案する。 提案フレームワークは,トレーニングデータ所有者と集約サーバのすべての参加者から,トレーニングデータのプライバシを保護する。 新たな量子化演算子を用いて、同型暗号化を用いることにより、ノイズが定量化され、バウンドされる状況において、差分プライバシー保証が証明される。
  論文  参考訳（メタデータ） (2022-05-09T14:33:44Z)
• InfoScrub: Towards Attribute Privacy by Targeted Obfuscation [77.49428268918703]
  視覚データに流出した個人情報を個人が制限できる技術について検討する。 我々はこの問題を新しい画像難読化フレームワークで解決する。 提案手法では,元の入力画像に忠実な難読化画像を生成するとともに,非難読化画像に対して6.2$times$(または0.85bits)の不確実性を増大させる。
  論文  参考訳（メタデータ） (2020-05-20T19:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。