論文の概要: Encryption-Friendly LLM Architecture

• arxiv url: http://arxiv.org/abs/2410.02486v1
• Date: Thu, 3 Oct 2024 13:48:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 03:01:18.861690
• Title: Encryption-Friendly LLM Architecture
• Title（参考訳）: 暗号化フレンドリーなLLMアーキテクチャ
• Authors: Donghwan Rho, Taeseong Kim, Minje Park, Jung Woo Kim, Hyunsik Chae, Jung Hee Cheon, Ernest K. Ryu,
• Abstract要約: ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。 本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 11.386436468650016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) offer personalized responses based on user interactions, but this use case raises serious privacy concerns. Homomorphic encryption (HE) is a cryptographic protocol supporting arithmetic computations in encrypted states and provides a potential solution for privacy-preserving machine learning (PPML). However, the computational intensity of transformers poses challenges for applying HE to LLMs. In this work, we propose a modified HE-friendly transformer architecture with an emphasis on inference following personalized (private) fine-tuning. Utilizing LoRA fine-tuning and Gaussian kernels, we achieve significant computational speedups -- 6.94x for fine-tuning and 2.3x for inference -- while maintaining performance comparable to plaintext models. Our findings provide a viable proof of concept for offering privacy-preserving LLM services in areas where data protection is crucial.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザインタラクションに基づいたパーソナライズされた応答を提供するが、このユースケースは深刻なプライバシー上の懸念を引き起こす。 ホモモルフィック暗号化(HE)は、暗号化された状態における算術演算をサポートし、プライバシー保護機械学習(PPML)の潜在的な解決策を提供する暗号プロトコルである。 しかし, 変圧器の計算強度は, HEをLLMに適用する上での課題となっている。 本研究では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE型トランスフォーマーアーキテクチャを提案する。 LoRAファインチューニングとガウスカーネルを利用することで、計算速度の大幅な向上 – 微調整は6.94倍、推論は2.3倍 – を実現し、平文モデルに匹敵するパフォーマンスを維持している。 我々の発見は、データ保護が不可欠である領域において、プライバシ保護のLLMサービスを提供するための、実用的な概念実証を提供する。

関連論文リスト

• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• GuardML: Efficient Privacy-Preserving Machine Learning Services Through Hybrid Homomorphic Encryption [2.611778281107039]
  プライバシ保存機械学習(PPML)メソッドは、機械学習モデルのプライバシとセキュリティを保護するために導入された。 現代の暗号方式であるHybrid Homomorphic Encryption (HHE)が最近登場した。 心電図データに基づく心疾患の分類のためのHHEベースのPPMLアプリケーションの開発と評価を行った。
  論文  参考訳（メタデータ） (2024-01-26T13:12:52Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Robust Representation Learning for Privacy-Preserving Machine Learning: A Multi-Objective Autoencoder Approach [0.9831489366502302]
  プライバシー保護機械学習(ppML)のための堅牢な表現学習フレームワークを提案する。 提案手法は,多目的方式でオートエンコーダを訓練することを中心に,符号化部からの潜伏と学習の特徴を符号化形式として結合する。 提案したフレームワークでは、元のフォームを公開せずに、データを共有し、サードパーティツールを使用することができます。
  論文  参考訳（メタデータ） (2023-09-08T16:41:25Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• When approximate design for fast homomorphic computation provides differential privacy guarantees [0.08399688944263842]
  差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。 本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。 たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
  論文  参考訳（メタデータ） (2023-04-06T09:38:01Z)
• HE-MAN -- Homomorphically Encrypted MAchine learning with oNnx models [0.23624125155742057]
  ホモモルフィック暗号化(FHE)は、プライバシを諦めることなくMLサービスを使用する個人を可能にする、有望なテクニックである。 我々は、ONNXモデルと同型暗号化データとの推論をプライバシー保護するためのオープンソースの機械学習ツールセットであるHE-MANを紹介する。 HE-MANは以前の作業と比較して、ONNXフォーマットの幅広いMLモデルをサポートしているが、精度を犠牲にしない。
  論文  参考訳（メタデータ） (2023-02-16T12:37:14Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。