論文の概要: Fully Homomorphic Encryption on Llama 3 model for privacy preserving LLM inference

• arxiv url: http://arxiv.org/abs/2604.12168v1
• Date: Tue, 14 Apr 2026 00:54:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.176783
• Title: Fully Homomorphic Encryption on Llama 3 model for privacy preserving LLM inference
• Title（参考訳）: LLM推論のためのLlama 3モデルの完全同型暗号化
• Authors: Anes Abdennebi, Nadjia Kara, Laaziz Lahlou,
• Abstract要約: PQC(Post-Quantum Cryptography)ベースのLatticeベースのホモモルフィック暗号化(HE)のメイン機能をLLMの推論パイプラインに統合し、データプライバシ攻撃に対していくつかのレイヤを保護する。 i9 CPU上では高いテキスト生成精度(最大98%)が妥当なレイテンシ(237ms)で示され、毎秒80トークンに達する。
• 参考スコア（独自算出の注目度）: 1.6542391182229608
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The applications of Generative Artificial Intelligence (GenAI) and their intersections with data-driven fields, such as healthcare, finance, transportation, and information security, have led to significant improvements in service efficiency and low latency. However, this synergy raises serious concerns regarding the security of large language models (LLMs) and their potential impact on the privacy of companies and users' data. Many technology companies that incorporate LLMs in their services with a certain level of command and control bear a risk of data exposure and secret divulgence caused by insecure LLM pipelines, making them vulnerable to multiple attacks such as data poisoning, prompt injection, and model theft. Although several security techniques (input/output sanitization, decentralized learning, access control management, and encryption) were implemented to reduce this risk, there is still an imminent risk of quantum computing attacks, which are expected to break existing encryption algorithms, hence, retrieving secret keys, encrypted sensitive data, and decrypting encrypted models. In this extensive work, we integrate the Post-Quantum Cryptography (PQC) based Lattice-based Homomorphic Encryption (HE) main functions in the LLM's inference pipeline to secure some of its layers against data privacy attacks. We modify the inference pipeline of the transformer architecture for the LLAMA-3 model while injecting the main homomorphic encryption operations provided by the concrete-ml library. We demonstrate high text generation accuracies (up to 98%) with reasonable latencies (237 ms) on an i9 CPU, reaching up to 80 tokens per second, which proves the feasibility and validity of our work while running a FHE-secured LLAMA-3 inference model. Further experiments and analysis are discussed to justify models' text generation latencies and behaviours.
• Abstract（参考訳）: Generative Artificial Intelligence(GenAI)の応用と、医療、金融、交通、情報セキュリティといったデータ駆動の分野との交差は、サービス効率と低レイテンシの大幅な改善につながった。 しかしながら、このシナジーは、大規模言語モデル(LLM)のセキュリティと、企業やユーザのデータのプライバシに対する潜在的な影響に関する深刻な懸念を提起する。 LLMを一定のレベルの命令と制御でサービスに組み込んだ多くの技術企業は、安全でないLSMパイプラインによって引き起こされるデータ露出と秘密の漏えいのリスクを負っており、データ中毒、即時注入、モデル盗難などの複数の攻撃に対して脆弱である。 このリスクを軽減するために、いくつかのセキュリティ技術(インプット/アウトプットのサニタイズ、分散学習、アクセス制御管理、暗号化)が実装されているが、既存の暗号化アルゴリズムを壊すことが予想される量子コンピューティング攻撃の差し迫ったリスクがある。 この広範な研究で、私たちはLLMの推論パイプラインでLatticeベースのPQC(Post-Quantum Cryptography)ベースのホモモルフィック暗号化(Hymomorphic Encryption, HE)のメイン機能を統合し、データプライバシ攻撃に対していくつかのレイヤを保護する。 LLAMA-3モデルのトランスフォーマーアーキテクチャの推論パイプラインを、具体mlライブラリが提供する主要な同型暗号化操作を注入しながら修正する。 高速テキスト生成精度(最大98%)をi9 CPU上で有意なレイテンシ(237ms)で実証し,最大80トークン/秒に到達し,FHE-Secured LLAMA-3推論モデルを実行中における作業の実現可能性と妥当性を実証した。 さらに実験と分析を行い、モデルのテキスト生成の待ち時間と振舞いを正当化する。

関連論文リスト

• Functional Encryption in Secure Neural Network Training: Data Leakage and Practical Mitigations [45.88028371034407]
  本稿では,関数暗号化(FE)を用いて暗号化データのセキュアなトレーニングを行うニューラルネットワークに対する攻撃を提案する。 1つのアプローチは暗号化に頼ることなくセキュリティを保証するが、もう1つは関数を隠蔽する内部製品技術を使用する。
  論文  参考訳（メタデータ） (2025-09-25T19:56:05Z)
• Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security [63.41350337821108]
  マルチモーダル大規模言語モデル(MLLM)のセキュリティを高めるために,Secure Tug-of-War(SecTOW)を提案する。 SecTOWは2つのモジュールで構成される:ディフェンダーと補助攻撃者。どちらも強化学習(GRPO)を使用して反復的に訓練される。 SecTOWは、一般的な性能を維持しながら、セキュリティを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2025-07-29T17:39:48Z)
• Benchmarking Large Language Models for Cryptanalysis and Side-Channel Vulnerabilities [12.669087812857533]
  我々は,現在最先端の大規模言語モデル (LLM) の暗号文上での暗号解析の可能性を評価する。 ゼロショットと少数ショット設定を用いて、LLMの復号化成功率を評価し、その理解能力について議論する。 本研究は, LLMの強みと, サイドチャネルシナリオにおける限界に関する重要な知見を明らかにするとともに, 過度に一般化した攻撃に対する感受性に関する懸念を提起する。
  論文  参考訳（メタデータ） (2025-05-30T14:12:07Z)
• Enhancing Leakage Attacks on Searchable Symmetric Encryption Using LLM-Based Synthetic Data Generation [0.0]
  Searchable Symmetric Encryption (SSE)は、暗号化されたデータに対する効率的な検索機能を提供する。 SSEスキームは、アクセスパターン、検索周波数、ボリューム情報を利用する漏洩攻撃に対して脆弱である。 本稿では,大規模言語モデル(LLM),特にGPT-4の変種を利用して,エンロンメールの現実のデータセットに統計的・意味的に類似した合成文書を生成する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T04:23:10Z)
• FLSSM: A Federated Learning Storage Security Model with Homomorphic Encryption [8.782251974115818]
  本稿では,フェデレート学習モデルのプライバシを保護するために,同型暗号化(FLSSM)を用いたフェデレーション学習ストレージセキュリティモデルを提案する。 複数の実世界のデータセットの実験により、我々のモデルは、効率とセキュリティの指標の両方でベースラインモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-04-15T11:33:14Z)
• Defeating Prompt Injections by Design [79.00910871948787]
  CaMeLは、Large Language Modelsを中心とした保護システムレイヤを作成する堅牢なディフェンスである。 CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。 セキュリティをさらに改善するため、CaMeLは、権限のないデータフロー上のプライベートデータの流出を防止する機能の概念を使用している。
  論文  参考訳（メタデータ） (2025-03-24T15:54:10Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• Secure Outsourced Decryption for FHE-based Privacy-preserving Cloud Computing [3.125865379632205]
  ホモモルフィック暗号化(HE)は、データのプライバシを保護するためのソリューションのひとつであり、暗号化されたデータをクラウドでセキュアに処理できるようにする。 本稿では、RLWEをベースとした完全同型暗号方式のためのアウトソース復号化プロトコルを提案する。 実験により,提案プロトコルはクライアントのローカル復号化において最大67%の高速化を実現し,空間使用量の50%の削減を図った。
  論文  参考訳（メタデータ） (2024-06-28T14:51:36Z)
• CodeChameleon: Personalized Encryption Framework for Jailbreaking Large Language Models [49.60006012946767]
  パーソナライズされた暗号化手法に基づく新しいジェイルブレイクフレームワークであるCodeChameleonを提案する。 我々は、7つの大規模言語モデルに関する広範な実験を行い、最先端の平均アタック成功率(ASR)を達成する。 GPT-4-1106上で86.6%のASRを実現する。
  論文  参考訳（メタデータ） (2024-02-26T16:35:59Z)
• Reinforcement Learning on Encrypted Data [58.39270571778521]
  本稿では,DQNエージェントが,離散的かつ連続的な状態空間を持つ環境でどのように動作するかを予備的,実験的に検討する。 その結果,非決定論的暗号が存在する場合でも,エージェントは依然として小さな状態空間で学習することができるが,より複雑な環境では性能が低下することがわかった。
  論文  参考訳（メタデータ） (2021-09-16T21:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。