論文の概要: Power-Softmax: Towards Secure LLM Inference over Encrypted Data

• arxiv url: http://arxiv.org/abs/2410.09457v1
• Date: Sat, 12 Oct 2024 09:32:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 14:14:38.056611
• Title: Power-Softmax: Towards Secure LLM Inference over Encrypted Data
• Title（参考訳）: Power-Softmax:暗号化データに対するセキュアLLM推論を目指して
• Authors: Itamar Zimerman, Allon Adir, Ehud Aharoni, Matan Avitan, Moran Baruch, Nir Drucker, Jenny Lerner, Ramy Masalha, Reut Meiri, Omri Soceanu,
• Abstract要約: ホモモルフィック暗号化(HE)は暗号化形式を持つために暗号手法を必要とする。 以前のアプローチでは、10倍を超える大きな度合いを持つ事前訓練されたモデルを直接近似していた。 トレーニングのための安定なフォームを提供し、トレーニングと近似し易い、新しいタイプの自己意図(self-attention)を提案する。
• 参考スコア（独自算出の注目度）: 2.4576879793338913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern cryptographic methods for implementing privacy-preserving LLMs such as Homomorphic Encryption (HE) require the LLMs to have a polynomial form. Forming such a representation is challenging because Transformers include non-polynomial components, such as Softmax and layer normalization. Previous approaches have either directly approximated pre-trained models with large-degree polynomials, which are less efficient over HE, or replaced non-polynomial components with easier-to-approximate primitives before training, e.g., Softmax with pointwise attention. The latter approach might introduce scalability challenges. We present a new HE-friendly variant of self-attention that offers a stable form for training and is easy to approximate with polynomials for secure inference. Our work introduces the first polynomial LLMs with 32 layers and over a billion parameters, exceeding the size of previous models by more than tenfold. The resulting models demonstrate reasoning and in-context learning (ICL) capabilities comparable to standard transformers of the same size, representing a breakthrough in the field. Finally, we provide a detailed latency breakdown for each computation over encrypted data, paving the way for further optimization, and explore the differences in inductive bias between transformers relying on our HE-friendly variant and standard transformers. Our code is attached as a supplement.
• Abstract（参考訳）: ホモモルフィック暗号化(HE)のようなプライバシー保護LLMを実装する現代の暗号法では、LLMには多項式形式が必要である。 このような表現を形成することは、TransformerにはSoftmaxやLayer normalizationのような非ポリノミカルなコンポーネントが含まれているため、難しい。 従来のアプローチでは、HEよりも効率が低い大次多項式を持つ事前学習されたモデルを直接近似するか、訓練前は非ポリノミカル成分をより容易で近似的なプリミティブ(例えば、ソフトマックス)に置き換えた。 後者のアプローチはスケーラビリティの課題をもたらすかもしれない。 我々は、訓練のための安定な形式を提供し、セキュアな推論のために多項式と近似し易い新しいHEフレンドリーな自己アテンションの変種を提案する。 本研究は,32層および10億以上のパラメータを持つ最初の多項式 LLM を導入し,従来のモデルのサイズを10倍以上にした。 結果として得られたモデルは、同じ大きさの標準トランスフォーマーに匹敵する推論とインコンテキスト学習(ICL)能力を示し、この分野におけるブレークスルーを表している。 最後に、暗号化されたデータに対する各計算の遅延分解の詳細を提供し、さらなる最適化の道を開き、HEフレンドリーな変種と標準変圧器に依存する変圧器間の帰納バイアスの違いについて検討する。 私たちのコードは補足として添付されています。

関連論文リスト

• Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
  本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。 提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-08-19T17:48:11Z)
• Linearizing Large Language Models [26.94551511277412]
  本稿では,既存の大規模事前学習型トランスフォーマーを,控えめな計算予算でリカレントニューラルネットワーク(RNN)にアップトレーニングする方法を提案する。 線形化手法は標準ベンチマーク上での競合性能につながるが,最大線形モデルにおいても,永続的な文脈内学習と長期コンテキストモデリングの欠点を同定する。
  論文  参考訳（メタデータ） (2024-05-10T17:59:08Z)
• Converting Transformers to Polynomial Form for Secure Inference Over Homomorphic Encryption [45.00129952368691]
  ホモモルフィック暗号化(HE)は、ディープラーニングにおける最も有望なアプローチの1つである。 変換器を用いたHE上でのセキュアな推論のデモンストレーションとして,第1回変換器を紹介する。 我々のモデルは従来の手法に匹敵する結果をもたらし、同様のスケールのトランスフォーマーで性能ギャップを埋め、最先端のアプリケーションでHEが実現可能であることを裏付ける。
  論文  参考訳（メタデータ） (2023-11-15T00:23:58Z)
• PolySketchFormer: Fast Transformers via Sketching Polynomial Kernels [23.99075223506133]
  モデル品質を犠牲にすることなくソフトマックスを効果的に置き換えることができることを示す。 本稿では,因果マスキングを効率的に適用するためのブロックベースアルゴリズムを提案する。 PolySketchFormerAttentionは、長いコンテキストを扱える言語モデルを訓練することで実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-02T21:39:04Z)
• MB-TaylorFormer: Multi-branch Efficient Transformer Expanded by Taylor Formula for Image Dehazing [88.61523825903998]
  トランスフォーマーネットワークは、コンピュータビジョンの分野における純粋な畳み込みニューラルネットワーク(CNN)を置き換えるようになった。 そこで本研究では,Taylor拡張を応用してソフトマックスアテンションを近似し,線形計算複雑性を実現するトランスフォーマー変種を提案する。 提案するTransformerにマルチスケールパッチを組み込んだマルチブランチアーキテクチャを導入する。 Taylor式(MB-TaylorFormer)により拡張されたMulti-branch Transformerと呼ばれる我々のモデルは、パッチ埋め込み段階でより柔軟に粗さを微細な特徴に埋め込むことができ、計算コストに制限のある長距離画素相互作用を捉えることができる。
  論文  参考訳（メタデータ） (2023-08-27T08:10:23Z)
• Zero-th Order Algorithm for Softmax Attention Optimization [21.631643446337737]
  ソフトマックス最適化に適したゼロ次アルゴリズムを提案する。 本稿では,アルゴリズムの収束を実演し,大規模言語モデルに対する効率的な勾配計算の有効性を明らかにする。
  論文  参考訳（メタデータ） (2023-07-17T09:43:50Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。