論文の概要: General Techniques for Reducing Key-Switching Overhead in Privacy-Preserving Two-Party Transformer Inference

• arxiv url: http://arxiv.org/abs/2606.25349v1
• Date: Wed, 24 Jun 2026 03:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.204528
• Title: General Techniques for Reducing Key-Switching Overhead in Privacy-Preserving Two-Party Transformer Inference
• Title（参考訳）: プライバシ保存型2成分変圧器推論におけるキースイッチオーバーヘッド低減手法
• Abstract要約: セキュアな双方向トランスフォーマー推論において、線形層は、暗号文または暗号文-暗号文行列乗算を通してFHEを用いて評価される。 既存の最適化はパッキング固有のアルゴリズムに大きく依存しており、一般的な適用性を制限している。 本稿では,注意計算のための前処理支援手法を提案する。
• 参考スコア（独自算出の注目度）: 2.750026875486172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In secure two-party Transformer inference, linear layers are typically evaluated using Fully Homomorphic Encryption (FHE) through plaintext-ciphertext or ciphertext-ciphertext matrix multiplications, where key switching primarily occurs and dominates computational overhead in both FHE-based and hybrid FHE-MPC systems. Existing optimizations rely heavily on packing-specific algorithms, limiting their general applicability. Targeting this overhead from a packing-independent perspective, we propose a preprocessing-assisted method for secure attention computation. By decomposing attention into precomputable operations and online interactions, this method reduces online inference-phase key switching without modifying existing packing strategies. However, the first method shifting key switching offline introduces additional storage requirements. To address this, we propose storage-communication trade-off techniques that replace large precomputed ciphertexts with modest online communication, enabling flexible deployment under varying resource constraints. While ciphertext-ciphertext matrix multiplication is offloaded to the preprocessing phase in hybrid schemes and the first layer of FHE-based schemes, these operations still persist in the offline stage and subsequent FHE layers. To further optimize it, we propose a fused key-switch technique targeting the multiplication-followed-by-rotation pattern, which frequently arises in existing RNS-CKKS matrix multiplication schemes. By combining relinearization and rotation into a single procedure, this technique reduces the associated computation costs. Analytical evaluations demonstrate that our proposed techniques significantly reduce online key-switch overhead and provide flexible trade-offs between storage and communication without requiring modifications to existing packing strategies.
• Abstract（参考訳）: セキュアな2要素トランスフォーマー推論において、線形層は通常、平文暗号や暗号文暗号行列の乗算を通じてFHE(Fully Homomorphic Encryption)を用いて評価される。 既存の最適化はパッキング固有のアルゴリズムに大きく依存しており、一般的な適用性を制限している。 このオーバヘッドをパッキング非依存の観点から目標とし,注意計算のための事前処理支援手法を提案する。 プリ計算可能な操作やオンラインインタラクションへの注意を分解することで、既存のパッキング戦略を変更することなく、オンライン推論フェーズのキースイッチングを減らすことができる。 しかし、キーをオフラインに切り替える最初の方法には、追加のストレージ要件が導入されている。 そこで本研究では,大規模プリ計算された暗号文を適度なオンライン通信に置き換えたストレージ通信トレードオフ手法を提案する。 暗号文-暗号文行列乗算は、ハイブリッドスキームおよびFHEベースのスキームの第1層において前処理フェーズにオフロードされるが、これらの操作はオフラインステージとその後のFHE層で継続される。 さらに最適化するために、既存のRSS-CKKS行列乗算方式で頻繁に発生する乗算追従回転パターンを対象とする融合鍵スイッチ手法を提案する。 リライナライゼーションと回転を1つのプロシージャに組み合わせることで、関連する計算コストを削減できる。 分析により,提案手法は,既存のパッケージング戦略の変更を必要とせずに,オンラインキースウィッチのオーバーヘッドを大幅に低減し,ストレージと通信間の柔軟なトレードオフを提供することを示した。

関連論文リスト

• Revisiting Decentralized Online Convex Optimization with Compressed Communication [68.72667170947358]
  圧縮通信を用いた2つのFTRL型D-OCOアルゴリズムを提案する。 我々の最初のアルゴリズムは、全情報設定を考慮し、既存の後悔の限界と一致させることができる。 第2のアルゴリズムは帯域設定のために設計されており、後悔の限界と通信コストの両方を大幅に改善することができる。
  論文  参考訳（メタデータ） (2026-07-02T03:45:41Z)
• Privacy-Preserving High-Resolution Image Gradient Computation Based on Fully Homomorphic Encryption [1.342943588774946]
  ホモモルフィック暗号化(HE)は、プライバシを保存する画像処理のコアメソッドとして登場した。 本稿では,大規模画像のための多文プライバシ保存フレームワークを提案し,半正直なモデルの下での効率的な画像の暗号化と計算を実現する。
  論文  参考訳（メタデータ） (2026-06-02T11:32:15Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• Volley Revolver: A Novel Matrix-Encoding Method for Privacy-Preserving Deep Learning (Inference++) [0.0]
  ホモモルフィック暗号化は、信頼できない環境でセキュアな機械学習を実現するための有望なアプローチとして登場した。 本稿では,1つの暗号化暗号文が1つの入力画像を完全に含まなければならないという要件を解消する,符号化・計算フレームワークの改良を提案する。 提案手法は,複数の暗号文にまたがる高解像度入力を分割するために,データレイアウトと準同型演算を再構成する。
  論文  参考訳（メタデータ） (2025-12-21T08:40:31Z)
• Generative Feature Imputing - A Technique for Error-resilient Semantic Communication [46.46641562787869]
  本稿では,3つの鍵となる手法を取り入れた,生成的特徴インパッシング(generative feature imputing)という新しい枠組みを提案する。 まず,チャネルマッピングに基づいて特徴要素を符号化することで特徴歪みを空間的に集中する空間誤差集中パケット化手法を提案する。 第2に,パケット損失による欠落した特徴を効率的に再構築する拡散モデルを用いた生成的特徴量計算手法を提案する。 第3に,各パケットのセマンティックな重要性に応じて送信電力を割り当てることで,不等なエラー保護を可能にするセマンティック・アウェア・パワー・アロケーション・スキームを開発する。
  論文  参考訳（メタデータ） (2025-08-25T12:19:48Z)
• Joint Transmit and Pinching Beamforming for Pinching Antenna Systems (PASS): Optimization-Based or Learning-Based? [89.05848771674773]
  MISO (Multiple-input Single-output) フレームワークを提案する。 それは複数の導波路で構成されており、多数の低コストアンテナ(PA)を備えている。 PAの位置は、大規模パスと空間の両方にまたがるように再構成することができる。
  論文  参考訳（メタデータ） (2025-02-12T18:54:10Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• A Practical Layer-Parallel Training Algorithm for Residual Networks [41.267919563145604]
  ResNetのトレーニングのための勾配ベースのアルゴリズムは、通常、入力データの前方パスを必要とし、続いてパラメータを更新するために目的の勾配をバックプロパゲートする。 本稿では,データ拡張を実現するための新しいシリアル並列ハイブリッドトレーニング戦略と,通信コスト削減のためのダウンサンプリングフィルタを提案する。
  論文  参考訳（メタデータ） (2020-09-03T06:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。