論文の概要: HE-LRM: Encrypted Deep Learning Recommendation Models using Fully Homomorphic Encryption
- arxiv url: http://arxiv.org/abs/2506.18150v1
- Date: Sun, 22 Jun 2025 19:40:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 19:06:36.776615
- Title: HE-LRM: Encrypted Deep Learning Recommendation Models using Fully Homomorphic Encryption
- Title(参考訳): HE-LRM:完全同型暗号を用いた深層学習推薦モデル
- Authors: Karthik Garimella, Austin Ebel, Gabrielle De Micheli, Brandon Reagen,
- Abstract要約: FHE(Fully Homomorphic Encryption)は、データを暗号化するだけでなく、暗号化されたデータに直接計算を適用することができる暗号化方式である。
本稿では,FHEを深層学習勧告モデル(DLRM)に適用する際の課題と機会について考察する。
本研究では,FHE計算コストを低減し,基礎となるモデル性能を維持しつつ,圧縮埋込みルックアップを実行する新しい手法を開発した。
- 参考スコア(独自算出の注目度): 3.0841649700901117
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fully Homomorphic Encryption (FHE) is an encryption scheme that not only encrypts data but also allows for computations to be applied directly on the encrypted data. While computationally expensive, FHE can enable privacy-preserving neural inference in the client-server setting: a client encrypts their input with FHE and sends it to an untrusted server. The server then runs neural inference on the encrypted data and returns the encrypted results. The client decrypts the output locally, keeping both the input and result private from the server. Private inference has focused on networks with dense inputs such as image classification, and less attention has been given to networks with sparse features. Unlike dense inputs, sparse features require efficient encrypted lookup operations into large embedding tables, which present computational and memory constraints for FHE. In this paper, we explore the challenges and opportunities when applying FHE to Deep Learning Recommendation Models (DLRM) from both a compiler and systems perspective. DLRMs utilize conventional MLPs for dense features and embedding tables to map sparse, categorical features to dense vector representations. We develop novel methods for performing compressed embedding lookups in order to reduce FHE computational costs while keeping the underlying model performant. Our embedding lookup improves upon a state-of-the-art approach by $77 \times$. Furthermore, we present an efficient multi-embedding packing strategy that enables us to perform a 44 million parameter embedding lookup under FHE. Finally, we integrate our solutions into the open-source Orion framework and present HE-LRM, an end-to-end encrypted DLRM. We evaluate HE-LRM on UCI (health prediction) and Criteo (click prediction), demonstrating that with the right compression and packing strategies, encrypted inference for recommendation systems is practical.
- Abstract(参考訳): FHE(Fully Homomorphic Encryption)は、データを暗号化するだけでなく、暗号化されたデータに直接計算を適用することができる暗号化方式である。
クライアントはFHEで入力を暗号化し、信頼できないサーバに送信する。
サーバは暗号化されたデータに対してニューラル推論を実行し、暗号化された結果を返す。
クライアントは出力をローカルに復号し、入力と結果の両方をサーバからプライベートに保持する。
プライベート推論は、画像分類などの高密度な入力を持つネットワークに焦点を当てており、スパースな特徴を持つネットワークにはあまり注意が向けられていない。
密度の高い入力とは異なり、スパース機能は大規模な埋め込みテーブルへの効率的な暗号化ルックアップ操作を必要とし、FHEの計算とメモリの制約を提示する。
本稿では,コンパイラとシステムの観点から,FHEを深層学習勧告モデル(DLRM)に適用する際の課題と機会について検討する。
DLRMは、高密度な特徴や埋め込みテーブルに従来のMDPを使用して、疎度でカテゴリ的な特徴を高密度なベクトル表現にマッピングする。
本研究では,FHE計算コストを低減し,基礎となるモデル性能を維持しつつ,圧縮埋込みルックアップを実行する新しい手法を開発した。
私たちの埋め込みルックアップは、最先端のアプローチを7ドル(約7,800円)改善します。
さらに,FHE下での4400万のパラメータ埋め込みルックアップを実現するための,効率的なマルチ埋め込みパッキング戦略を提案する。
最後に、当社のソリューションをオープンソースのOrionフレームワークに統合し、エンド・ツー・エンドの暗号化DLRMであるHE-LRMを提示する。
HE-LRMをUCI(健康予測)とCriteo(クリック予測)で評価し、適切な圧縮とパッケージング戦略により、レコメンデーションシステムのための暗号化推論が実用的であることを示す。
関連論文リスト
- Encrypted Large Model Inference: The Equivariant Encryption Paradigm [18.547945807599543]
Equivariant Encryption(EE)は,暗号化されたデータに対して,性能上のオーバーヘッドがゼロに近いセキュアな"盲目"推論を可能にするように設計された,新しいパラダイムである。
計算グラフ全体を暗号化する完全同型アプローチとは異なり、EEはニューラルネットワーク層内の重要な内部表現を選択的に難読化する。
EEは高い忠実性とスループットを維持しており、ロバストなデータの機密性と、現代的な大規模モデル推論の厳密な効率要件の間のギャップを効果的に埋めています。
論文 参考訳(メタデータ) (2025-02-03T03:05:20Z) - Cryptanalysis via Machine Learning Based Information Theoretic Metrics [58.96805474751668]
本稿では,機械学習アルゴリズムの新たな2つの応用法を提案する。
これらのアルゴリズムは、監査設定で容易に適用でき、暗号システムの堅牢性を評価することができる。
本稿では,DES,RSA,AES ECBなど,IND-CPAの安全でない暗号化スキームを高精度に識別する。
論文 参考訳(メタデータ) (2025-01-25T04:53:36Z) - Encryption-Friendly LLM Architecture [11.386436468650016]
ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。
本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-10-03T13:48:35Z) - Blind Evaluation Framework for Fully Homomorphic Encryption and Privacy-Preserving Machine Learning [0.0]
Blind Evaluation Framework (BEF) は暗号的にセキュアなプログラミングフレームワークである。
インタラクティブ・ラウンド・オブ・デクリプション・アンド・アセスメント(IRDE)を使わずに、盲目で、正しい、プログラミングロジックの実行を可能にする。
これは、解読ラウンドなしでFHEで機械学習モデルのトレーニングと推論を可能にする最初のフレームワークである。
論文 参考訳(メタデータ) (2023-10-19T20:33:02Z) - PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。
次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
論文 参考訳(メタデータ) (2023-03-31T18:03:53Z) - Deep Neural Networks for Encrypted Inference with TFHE [0.0]
完全同型暗号(英: Fully homomorphic encryption, FHE)は、復号化せずに暗号化されたデータ上で計算を行うことができる暗号法である。
TFHEは、健康データ、バイオメトリックス、クレジットスコア、その他の個人情報などの機密データを扱うオンラインサービスのユーザのプライバシを保存する。
本稿では、任意の深度計算回路を実現するFHEスキームであるTFHEの制約に適合するディープニューラルネットワーク(DNN)を構築する方法について述べる。
論文 参考訳(メタデータ) (2023-02-13T09:53:31Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳(メタデータ) (2022-06-01T03:49:18Z) - Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
論文 参考訳(メタデータ) (2020-06-17T18:14:30Z) - CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。
CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
論文 参考訳(メタデータ) (2020-02-03T14:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。