論文の概要: Converting Transformers to Polynomial Form for Secure Inference Over Homomorphic Encryption

• arxiv url: http://arxiv.org/abs/2311.08610v1
• Date: Wed, 15 Nov 2023 00:23:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 17:54:31.868287
• Title: Converting Transformers to Polynomial Form for Secure Inference Over Homomorphic Encryption
• Title（参考訳）: 準同型暗号に対するセキュアな推論のためのトランスフォーマーの多項式形式への変換
• Authors: Itamar Zimerman, Moran Baruch, Nir Drucker, Gilad Ezov, Omri Soceanu, Lior Wolf
• Abstract要約: ホモモルフィック暗号化(HE)は、ディープラーニングにおける最も有望なアプローチの1つである。 変換器を用いたHE上でのセキュアな推論のデモンストレーションとして,第1回変換器を紹介する。 我々のモデルは従来の手法に匹敵する結果をもたらし、同様のスケールのトランスフォーマーで性能ギャップを埋め、最先端のアプリケーションでHEが実現可能であることを裏付ける。
• 参考スコア（独自算出の注目度）: 45.00129952368691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing privacy-preserving deep learning models is a major challenge within the deep learning community. Homomorphic Encryption (HE) has emerged as one of the most promising approaches in this realm, enabling the decoupling of knowledge between the model owner and the data owner. Despite extensive research and application of this technology, primarily in convolutional neural networks, incorporating HE into transformer models has been challenging because of the difficulties in converting these models into a polynomial form. We break new ground by introducing the first polynomial transformer, providing the first demonstration of secure inference over HE with transformers. This includes a transformer architecture tailored for HE, alongside a novel method for converting operators to their polynomial equivalent. This innovation enables us to perform secure inference on LMs with WikiText-103. It also allows us to perform image classification with CIFAR-100 and Tiny-ImageNet. Our models yield results comparable to traditional methods, bridging the performance gap with transformers of similar scale and underscoring the viability of HE for state-of-the-art applications. Finally, we assess the stability of our models and conduct a series of ablations to quantify the contribution of each model component.
• Abstract（参考訳）: プライバシー保護のディープラーニングモデルの設計は、ディープラーニングコミュニティにおける大きな課題である。 準同型暗号化(he)は、この領域で最も有望なアプローチの1つとして登場し、モデルオーナーとデータオーナーの間の知識の分離を可能にする。 この技術の広範な研究と応用にもかかわらず、主に畳み込みニューラルネットワークにおいて、HEをトランスフォーマーモデルに組み込むことは、これらのモデルを多項式形式に変換することの難しさから困難である。 我々は、最初の多項式変換器を導入することで、新しい地盤を壊し、トランスフォーマーでheを安全に推論する最初の実演を提供する。 これにはHE用に調整されたトランスフォーマーアーキテクチャと、演算子を多項式同値に変換する新しい方法が含まれる。 この革新により、WikiText-103でLMに対してセキュアな推論を行うことができる。 また、CIFAR-100とTiny-ImageNetで画像分類を行うこともできる。 我々のモデルは従来の手法に匹敵する結果をもたらし、同様のスケールのトランスフォーマーで性能ギャップを埋め、最先端のアプリケーションにおけるHEの生存可能性を強調する。 最後に,モデルの安定性を評価し,各モデル要素の寄与度を定量化するために一連のアブレーションを行う。

関連論文リスト

• Re-Parameterization of Lightweight Transformer for On-Device Speech Emotion Recognition [10.302458835329539]
  軽量トランスフォーマーモデルの性能向上のための新しい手法であるTransformer Re-パラメータ化を導入する。 実験の結果,提案手法は軽量トランスフォーマーの性能を常に改善し,大規模モデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-11-14T10:36:19Z)
• Power-Softmax: Towards Secure LLM Inference over Encrypted Data [2.4576879793338913]
  ホモモルフィック暗号化(HE)は暗号化形式を持つために暗号手法を必要とする。 以前のアプローチでは、10倍を超える大きな度合いを持つ事前訓練されたモデルを直接近似していた。 トレーニングのための安定なフォームを提供し、トレーニングと近似し易い、新しいタイプの自己意図(self-attention)を提案する。
  論文  参考訳（メタデータ） (2024-10-12T09:32:42Z)
• Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
  本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。 提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-08-19T17:48:11Z)
• Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
  トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。 このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。 実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-06T14:27:29Z)
• Introduction to Transformers: an NLP Perspective [59.0241868728732]
  本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。 これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
  論文  参考訳（メタデータ） (2023-11-29T13:51:04Z)
• Large Sequence Models for Sequential Decision-Making: A Survey [33.35835438923926]
  トランスフォーマーはRLコミュニティへの関心が高まり、顕著な有効性と一般化性を持った多くのアプローチを生み出した。 本稿では, シーケンシャル意思決定における大規模シーケンスモデルの有効性向上を目的とした, 今後の研究に向けて, 様々な方法を提案する。
  論文  参考訳（メタデータ） (2023-06-24T12:06:26Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Transformer-based Conditional Variational Autoencoder for Controllable Story Generation [39.577220559911055]
  ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。 我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。 具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
  論文  参考訳（メタデータ） (2021-01-04T08:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。