論文の概要: Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models
- arxiv url: http://arxiv.org/abs/2605.23641v1
- Date: Fri, 22 May 2026 13:54:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.375937
- Title: Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models
- Title（参考訳）: カーネルベースReLUによる同型暗号化対応プライバシ保護深層学習モデルの近似
- Authors: Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis,
- Abstract要約: ホモモルフィック暗号化(HE)は、操作中に復号化することなく、暗号化データ上で計算を実行する方法を提供する。
HEは加法と乗法に限られており、非線型関数は元の形式と互換性がない。
本稿では,カーネルによるReLUの近似を提案し,HE制約設定内での利用を可能にする。
- 参考スコア（独自算出の注目度）: 1.392661575766483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As privacy concerns in AI technologies continue to grow, Homomorphic Encryption (HE) offers a way to perform computations on encrypted data without the need of decryption during operations. However, HE is limited to addition and multiplication, making non-linear functions incompatible in their original form. This limitation has become more critical with the widespread use of Large Language Models (LLMs), where the non-linearity of activation functions such as the Rectified Linear Unit (ReLU) poses challenges for deployment in privacy-preserving Natural Language Processing (NLP) settings. This paper proposes a kernel-based approximation of ReLU, enabling its use within HE-constrained settings and thus contributing a critical step toward supporting privacy-preserving LLMs. A smooth kernel-based function, mimicking ReLU, is approximated using a second-degree polynomial, inspired by Jackson's theorem, to achieve low multiplicative depth. The proposed method is trained and assessed directly on token embeddings from pre-trained LLMs and evaluated in various scenarios, from simulated and tokenized data to deep learning and transformer models. Results show improved approximation fidelity, supporting the method's suitability for secure and privacy-preserving inference in various tasks.
- Abstract（参考訳）: AI技術のプライバシに関する懸念が高まるにつれて、ホモモルフィック暗号化(HE)は、操作中に復号化することなく、暗号化されたデータ上で計算を実行する手段を提供する。
しかし、HEは加法と乗法に限られており、非線型関数は元の形式と互換性がない。
この制限は、Rectified Linear Unit(ReLU)のようなアクティベーション関数の非線形性が、プライバシ保護自然言語処理(NLP)設定へのデプロイに困難をもたらすという、Large Language Models(LLM)の普及によって、より重要になっている。
本稿では,ReLUのカーネルベースの近似を提案し,HE制約設定内での利用を可能にすることにより,プライバシ保護 LLM をサポートするための重要なステップとなる。
ReLUを模倣した滑らかなカーネルベースの関数は、ジャクソンの定理にインスパイアされた第二次多項式を用いて近似され、低乗法深さを達成する。
提案手法は,事前学習したLCMのトークン埋め込みを直接評価し,シミュレーションやトークン化データからディープラーニングやトランスフォーマーモデルまで,さまざまなシナリオで評価する。
その結果,様々なタスクにおける安全性とプライバシ保護の推論に対する手法の適合性が向上した。
関連論文リスト
- Training Machine Learning Models on Encrypted Data: A Privacy-Preserving Framework using Homomorphic Encryption [40.16348991707144]
同型暗号化は、復号化せずに暗号化されたデータの計算を可能にし、機械学習パイプライン全体の機密性を保存する。
本稿では、精度と効率を保ちながら、暗号化データ上でMLモデルをトレーニングするという課題に対処する。
K-Nearest Neighbors(KNN)と線形回帰モデルを暗号化データ上でトレーニングし、基本的マルチレイヤパーセプトロン(MLP)アーキテクチャの暗号化推論を評価する。
論文 参考訳（メタデータ） (2026-04-25T10:50:41Z) - Traveling Salesman-Based Token Ordering Improves Stability in Homomorphically Encrypted Language Models [16.73757071734074]
ホモモルフィック暗号化(HE)は、暗号化されたデータ上で直接計算を行うことによって、原則化されたソリューションを提供する。
テキスト生成の課題、特に次世代の予測は、あまり注目されていない。
暗号化されたテキスト生成の難しさに対処するTSPベースのトークン再注文戦略を提案する。
論文 参考訳（メタデータ） (2025-10-14T09:56:50Z) - Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。
まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。
本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-16T20:58:05Z) - Secure Distributed Learning for CAVs: Defending Against Gradient Leakage with Leveled Homomorphic Encryption [0.0]
ホモモルフィック暗号化(HE)は、差分プライバシー(DP)とセキュアマルチパーティ計算(SMPC)に代わる有望な代替手段を提供する
資源制約のある環境において,フェデレートラーニング(FL)に最も適したHE方式の評価を行った。
我々は、モデル精度を維持しながら、Gradients (DLG)攻撃からのDeep Leakageを効果的に軽減するHEベースのFLパイプラインを開発した。
論文 参考訳（メタデータ） (2025-06-09T16:12:18Z) - Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。
近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。
この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。
そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-01T07:15:21Z) - Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。
微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。
これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
論文 参考訳（メタデータ） (2025-02-13T02:05:45Z) - Encryption-Friendly LLM Architecture [11.386436468650016]
ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。
本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-10-03T13:48:35Z) - Efficient Privacy-Preserving KAN Inference Using Homomorphic Encryption [9.0993556073886]
ホモモルフィック暗号化(HE)は、ディープラーニングモデルのプライバシー保護推論を容易にする。
SiLUアクティベーション関数やB-スプライン関数などの非線形要素を組み込んだkanの複雑な構造は、既存のプライバシ保存推論技術が不十分である。
そこで我々は,kansに適した高精度かつ効率的なプライバシ保護型推論手法を提案する。
論文 参考訳（メタデータ） (2024-09-12T04:51:27Z) - DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。
DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
論文 参考訳（メタデータ） (2023-10-14T18:42:56Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。