論文の概要: Encrypted Large Model Inference: The Equivariant Encryption Paradigm

• arxiv url: http://arxiv.org/abs/2502.01013v1
• Date: Mon, 03 Feb 2025 03:05:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:51.885889
• Title: Encrypted Large Model Inference: The Equivariant Encryption Paradigm
• Title（参考訳）: Encrypted Large Model Inference: The Equivariant Encryption Paradigm
• Authors: James Buban, Hongyang Zhang, Claudio Angione, Harry Yang, Ahmad Farhan, Seyfal Sultanov, Michael Du, Xuran Ma, Zihao Wang, Yue Zhao, Arria Owlia, Fielding Johnston, Patrick Colangelo,
• Abstract要約: Equivariant Encryption(EE)は,暗号化されたデータに対して,性能上のオーバーヘッドがゼロに近いセキュアな"盲目"推論を可能にするように設計された,新しいパラダイムである。 計算グラフ全体を暗号化する完全同型アプローチとは異なり、EEはニューラルネットワーク層内の重要な内部表現を選択的に難読化する。 EEは高い忠実性とスループットを維持しており、ロバストなデータの機密性と、現代的な大規模モデル推論の厳密な効率要件の間のギャップを効果的に埋めています。
• 参考スコア（独自算出の注目度）: 18.547945807599543
• License:
• Abstract: Large scale deep learning model, such as modern language models and diffusion architectures, have revolutionized applications ranging from natural language processing to computer vision. However, their deployment in distributed or decentralized environments raises significant privacy concerns, as sensitive data may be exposed during inference. Traditional techniques like secure multi-party computation, homomorphic encryption, and differential privacy offer partial remedies but often incur substantial computational overhead, latency penalties, or limited compatibility with non-linear network operations. In this work, we introduce Equivariant Encryption (EE), a novel paradigm designed to enable secure, "blind" inference on encrypted data with near zero performance overhead. Unlike fully homomorphic approaches that encrypt the entire computational graph, EE selectively obfuscates critical internal representations within neural network layers while preserving the exact functionality of both linear and a prescribed set of non-linear operations. This targeted encryption ensures that raw inputs, intermediate activations, and outputs remain confidential, even when processed on untrusted infrastructure. We detail the theoretical foundations of EE, compare its performance and integration complexity against conventional privacy preserving techniques, and demonstrate its applicability across a range of architectures, from convolutional networks to large language models. Furthermore, our work provides a comprehensive threat analysis, outlining potential attack vectors and baseline strategies, and benchmarks EE against standard inference pipelines in decentralized settings. The results confirm that EE maintains high fidelity and throughput, effectively bridging the gap between robust data confidentiality and the stringent efficiency requirements of modern, large scale model inference.
• Abstract（参考訳）: 現代の言語モデルや拡散アーキテクチャのような大規模ディープラーニングモデルは、自然言語処理からコンピュータビジョンまで幅広い応用に革命をもたらした。 しかしながら、分散あるいは分散化された環境でのデプロイメントは、推論中に機密データが露出する可能性があるため、重要なプライバシー上の懸念を引き起こす。 セキュアなマルチパーティ計算、ホモモルフィック暗号化、微分プライバシーといった従来のテクニックは、部分的な修正を提供するが、大きな計算オーバーヘッド、レイテンシのペナルティ、非線形ネットワーク操作との互換性の制限など、しばしば発生する。 本研究では,暗号化されたデータに対して,性能上のオーバーヘッドがゼロに近いセキュアな"盲目"推論を可能にする新しいパラダイムであるEquivariant Encryption(EE)を紹介する。 計算グラフ全体を暗号化する完全同型アプローチとは異なり、EEは線形および所定の非線形操作の正確な機能を保ちながら、ニューラルネットワーク層内の重要な内部表現を選択的に難読化する。 この暗号化によって、信頼できないインフラストラクチャで処理された場合でも、生の入力、中間のアクティベーション、出力が機密保持されることが保証される。 我々は、EEの理論的基盤を詳述し、その性能と統合の複雑さを従来のプライバシー保護技術と比較し、畳み込みネットワークから大規模言語モデルまで、さまざまなアーキテクチャに適用可能であることを示す。 さらに、我々の研究は包括的な脅威分析を提供し、潜在的な攻撃ベクトルとベースライン戦略を概説し、分散環境での標準的な推論パイプラインに対してEEをベンチマークします。 その結果、EEは高い忠実度とスループットを維持しており、最新の大規模モデル推論の厳密なデータ機密性と厳密な効率要件の間のギャップを効果的に埋めていることが確認された。

関連論文リスト

• Encryption-Friendly LLM Architecture [11.386436468650016]
  ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。 本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:48:35Z)
• Model Agnostic Hybrid Sharding For Heterogeneous Distributed Inference [11.39873199479642]
  Nesaは、分散AI推論用に設計されたモデルに依存しないシャーディングフレームワークを導入した。 私たちのフレームワークでは、ブロックチェーンベースのディープニューラルネットワークシャーディングを使用して、さまざまなノードネットワークに計算タスクを分散しています。 われわれの結果は、最先端のAI技術へのアクセスを民主化する可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-29T08:18:48Z)
• EncCluster: Scalable Functional Encryption in Federated Learning through Weight Clustering and Probabilistic Filters [3.9660142560142067]
  フェデレートラーニング(FL)は、アグリゲーションサーバにのみローカルモデルの更新を通信することで、分散デバイス間のモデルトレーニングを可能にする。 FLはモデル更新送信中に推論攻撃に弱いままである。 本稿では、重みクラスタリングによるモデル圧縮と、最近の分散型FEとプライバシ強化データエンコーディングを統合する新しい方法であるEncClusterを提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:16:50Z)
• When approximate design for fast homomorphic computation provides differential privacy guarantees [0.08399688944263842]
  差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。 本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。 たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
  論文  参考訳（メタデータ） (2023-04-06T09:38:01Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• Reinforcement Learning on Encrypted Data [58.39270571778521]
  本稿では,DQNエージェントが,離散的かつ連続的な状態空間を持つ環境でどのように動作するかを予備的,実験的に検討する。 その結果,非決定論的暗号が存在する場合でも,エージェントは依然として小さな状態空間で学習することができるが,より複雑な環境では性能が低下することがわかった。
  論文  参考訳（メタデータ） (2021-09-16T21:59:37Z)
• Efficient CNN Building Blocks for Encrypted Data [6.955451042536852]
  ホモモルフィック暗号化(FHE)は機械学習と推論を可能にする有望な技術である。 選択したFHE方式の動作パラメータが機械学習モデルの設計に大きな影響を与えることを示す。 実験により, 上記の設計パラメータの選択は, 精度, セキュリティレベル, 計算時間の間に大きなトレードオフをもたらすことがわかった。
  論文  参考訳（メタデータ） (2021-01-30T21:47:23Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
  総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。 CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
  論文  参考訳（メタデータ） (2020-02-03T14:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。