論文の概要: Efficient Decoding Methods for Language Models on Encrypted Data

• arxiv url: http://arxiv.org/abs/2509.08383v1
• Date: Wed, 10 Sep 2025 08:23:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.35747
• Title: Efficient Decoding Methods for Language Models on Encrypted Data
• Title（参考訳）: 暗号化データを用いた言語モデルの効率的な復号法
• Authors: Matan Avitan, Moran Baruch, Nir Drucker, Itamar Zimerman, Yoav Goldberg,
• Abstract要約: ホモモルフィック暗号化(HE)は、セキュアな推論のために暗号化されたデータの計算を可能にする。 ニューラルテキスト生成にはargmaxやサンプリングのような復号法が必要である。 我々は,従来の手法に比べて暗号操作を減らし,実用的なグリージー復号を可能にする,HEフレンドリーなargmaxアルゴリズムであるCutmaxを導入する。
• 参考スコア（独自算出の注目度）: 32.58944595512403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) power modern AI applications, but processing sensitive data on untrusted servers raises privacy concerns. Homomorphic encryption (HE) enables computation on encrypted data for secure inference. However, neural text generation requires decoding methods like argmax and sampling, which are non-polynomial and thus computationally expensive under encryption, creating a significant performance bottleneck. We introduce cutmax, an HE-friendly argmax algorithm that reduces ciphertext operations compared to prior methods, enabling practical greedy decoding under encryption. We also propose the first HE-compatible nucleus (top-p) sampling method, leveraging cutmax for efficient stochastic decoding with provable privacy guarantees. Both techniques are polynomial, supporting efficient inference in privacy-preserving settings. Moreover, their differentiability facilitates gradient-based sequence-level optimization as a polynomial alternative to straight-through estimators. We further provide strong theoretical guarantees for cutmax, proving it converges globally to a unique two-level fixed point, independent of the input values beyond the identity of the maximizer, which explains its rapid convergence in just a few iterations. Evaluations on realistic LLM outputs show latency reductions of 24x-35x over baselines, advancing secure text generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現代のAIアプリケーションを動かすが、信頼できないサーバ上で機密データを処理することでプライバシー上の懸念が高まる。 ホモモルフィック暗号化(HE)は、セキュアな推論のために暗号化されたデータの計算を可能にする。 しかし、ニューラルテキスト生成には、非ポリノミカルで計算コストがかかるargmaxやサンプリングのような復号法が必要であるため、大きなパフォーマンスボトルネックが生じる。 そこで我々は,従来の手法に比べて暗号操作を減らし,実用的なグリージー復号を可能にする,HEフレンドリーなargmaxアルゴリズムであるCutmaxを導入する。 また,プライバシ保証を保証した効率的な確率的復号法として,カットマックスを利用した最初のHE互換核(top-p)サンプリング手法を提案する。 どちらの手法も多項式であり、プライバシー保護設定における効率的な推論をサポートする。 さらに、それらの微分性は、ストレートスルー推定器に代わる多項式として勾配に基づくシーケンスレベルの最適化を促進する。 さらに、カットマックスの強い理論的な保証を提供し、それが一意の2段階の固定点にグローバルに収束することを証明し、入力値が最大値の恒等性を超えることには依存せず、ほんの数イテレーションでその急激な収束を説明する。 リアルなLCM出力の評価では、ベースライン上で24x-35xの遅延が減少し、セキュアなテキスト生成が進んだ。

関連論文リスト

• BanditSpec: Adaptive Speculative Decoding via Bandit Algorithms [101.9736063064503]
  大規模言語モデル(LLM)の推論を高速化する一般的な手法として、投機的復号法が登場した。 本稿では,テキスト生成時に投機的復号化のためのハイパーパラメータの設定を適応的に選択する学習自由オンライン学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T05:56:31Z)
• Improving Efficiency in Federated Learning with Optimized Homomorphic Encryption [9.759156649755235]
  フェデレーション・ラーニング(Federated Learning)とは、機械学習において、複数のデバイスがプライベートデータを共有せずにモデル上で連携できるようにする手法である。 FLにおけるプライバシの鍵となるのは、暗号化データ上で直接計算を行うことができるホモモルフィック暗号化(HE)である。 私の研究は、堅牢なプライバシー保証を維持しながら、これらの非効率性に対処する新しいアルゴリズムを紹介します。
  論文  参考訳（メタデータ） (2025-04-03T19:50:07Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• When approximate design for fast homomorphic computation provides differential privacy guarantees [0.08399688944263842]
  差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。 本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。 たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
  論文  参考訳（メタデータ） (2023-04-06T09:38:01Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• Efficient Batch Homomorphic Encryption for Vertically Federated XGBoost [9.442606239058806]
  本稿では,広範に使用されているXGBoostモデルを,垂直連合学習環境に適用する際の効率問題について検討する。 本稿では,暗号関連および伝送のコストをほぼ半分に削減する,新しいバッチ同型暗号法を提案する。
  論文  参考訳（メタデータ） (2021-12-08T12:41:01Z)
• FFConv: Fast Factorized Neural Network Inference on Encrypted Data [9.868787266501036]
  本稿では、畳み込みと暗号文のパッキングを統一するFFConvと呼ばれる低ランク分解法を提案する。 先行技術であるLoLaとFalconと比較して,提案手法は,それぞれ最大87%,12%の遅延を減少させる。
  論文  参考訳（メタデータ） (2021-02-06T03:10:13Z)
• Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
  ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。 本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。 各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-17T18:14:30Z)
• Cryptotree: fast and accurate predictions on encrypted structured data [0.0]
  ホモモルフィック暗号化(HE)は、入力と出力の両方が暗号化される暗号化データ上での計算を可能にする能力で認められている。 線形回帰と比較して非常に強力な学習手法であるランダムフォレスト(RF)の利用を可能にするフレームワークであるCryptotreeを提案する。
  論文  参考訳（メタデータ） (2020-06-15T11:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。