論文の概要: CipherFormer: Efficient Transformer Private Inference with Low Round Complexity

• arxiv url: http://arxiv.org/abs/2403.16860v1
• Date: Mon, 25 Mar 2024 15:24:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 20:44:21.780876
• Title: CipherFormer: Efficient Transformer Private Inference with Low Round Complexity
• Title（参考訳）: CipherFormer: ローラウンド複素性を持つ効率的な変圧器プライベート推論
• Authors: Weize Wang, Yi Kuang,
• Abstract要約: 本稿では,同相暗号とガーブロード回路を用いた変圧器プライベート推論方式であるCipherFormerを提案する。 テキスト分類タスクにおける高度な同型暗号方式と比較して、我々のモデルは7.7x-11.9倍の高速化でプライベート推論を行い、精度を3%から11%向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a growing trend to outsource the inference task of large transformer models to cloud servers. However, this poses a severe threat to users' private data as they are exposed to cloud servers after uploading. Although several works attempted to provide private inference for transformer models, their hundreds of communication rounds limit the application scenarios. Motivated by the desire to minimize round complexity, we propose CipherFormer, a novel transformer private inference scheme using homomorphic encryption and garbled circuits. We present a protocol for quickly computing homomorphic matrix multiplications. We then modify the attention mechanism and design the corresponding garbled circuits. Furthermore, we show how to use a lightweight attention mechanism and mixed-bitwidth to reduce the inference latency while maintaining accuracy. In comparison with an advanced homomorphic encryption scheme on text classification tasks, our model improves accuracy by 3% to 11% while performing private inference with a 7.7x-11.9x speedup.
• Abstract（参考訳）: 大規模なトランスフォーマーモデルの推論タスクをクラウドサーバにアウトソースする傾向が強まっている。 しかし、これはアップロード後にクラウドサーバーに暴露されるため、ユーザのプライベートデータに深刻な脅威をもたらす。 いくつかの研究はトランスフォーマーモデルに対してプライベートな推論を提供しようとしたが、数百の通信ラウンドでアプリケーションシナリオが制限された。 ラウンド複雑性を最小限にしたいという欲求から,同相暗号とガーブラー回路を用いた新しいトランスフォーマープライベート推論スキームであるCipherFormerを提案する。 準同型行列乗算を高速に計算するためのプロトコルを提案する。 次に、アテンション機構を変更し、対応するガーブラード回路を設計する。 さらに、軽量な注意機構と混合ビット幅を用いて、精度を維持しつつ、推論遅延を低減する方法について述べる。 テキスト分類タスクにおける高度な同型暗号方式と比較して、我々のモデルは7.7x-11.9倍の高速化でプライベート推論を行い、精度を3%から11%向上させる。

関連論文リスト

• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• I can't see it but I can Fine-tune it: On Encrypted Fine-tuning of Transformers using Fully Homomorphic Encryption [5.12893315783096]
  BlindTunerは、画像分類のための同型暗号化データのみを対象としたトランスフォーマートレーニングを可能にする、プライバシー保護のための微調整システムである。 以上の結果から,従来よりも1.5倍から600倍の速度向上が見られた。
  論文  参考訳（メタデータ） (2024-02-14T10:15:43Z)
• AttMEMO : Accelerating Transformers with Memoization on Big Memory Systems [10.585040856070941]
  本稿では,意味的に類似した入力を見つけ,計算の類似性を識別する新しい埋め込み手法を提案する。 推論精度の低下を無視して,平均で22%(最大68%)の推論遅延低減を可能にする。
  論文  参考訳（メタデータ） (2023-01-23T04:24:26Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• Sparse is Enough in Scaling Transformers [12.561317511514469]
  大規模なTransformerモデルは、多くのタスクにおいて印象的な結果をもたらすが、トレーニングや微調整は高価であり、デコードが遅いため、使用と研究が手に入らない。 本稿では,スパース層を用いた次世代トランスフォーマーモデルのファミリーであるScaling Transformerを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:53:46Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。