論文の概要: Public-Decay Homomorphic State Space Models for Private Sequence Inference
- arxiv url: http://arxiv.org/abs/2605.16647v1
- Date: Fri, 15 May 2026 21:35:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:46.892336
- Title: Public-Decay Homomorphic State Space Models for Private Sequence Inference
- Title(参考訳): プライベートシーケンス推論のためのパブリックデカイ同型状態空間モデル
- Authors: Luis Brito,
- Abstract要約: ローテーション、暗号化された製品、暗号文の実体化、乗算深度、ブートストラップ圧力が通常のニューラルネットワークコストを支配できるため、FHEはシーケンスモデル設計を変更する。
本稿では,公開デカイホモ状態ホモ空間モデル(HSSM)を提案する。
HSSMは、クライアント側のトークン化、フリーズされたfastTextルックアップ、プロジェクション、クリッピング、暗号化、復号化、バウンダリされた機能に対するサーバ側の暗号化評価からのしきい値設定を分離する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fully homomorphic encryption (FHE) changes sequence-model design because rotations, encrypted products, ciphertext materialization, multiplicative depth, and bootstrapping pressure can dominate ordinary neural-network costs. This paper presents public-decay homomorphic state space models (HSSMs), recurrent/state-space blocks whose carried state is updated through ciphertext-plaintext public decay while ciphertext-ciphertext multiplication remains on a local write path. The design keeps a fixed encrypted state across the sequence. The evaluated workflow separates client-side tokenization, frozen fastText lookup, projection, clipping, encryption, decryption, and thresholding from server-side encrypted evaluation over bounded projected features. On full Rotten Tomatoes and SST-2 validation splits, the encrypted HSSM path exactly matches plaintext classifications and reaches 0.7505 and 0.7420 accuracy. Against HE-friendly polynomial attention on the same fastText workloads, HSSM matches or exceeds full-sequence task quality while running about 5x faster. Paired L40S operation-level rows show 1.34-1.62x lower latency than cached final-token polynomial attention, 30-258x lower latency than full-sequence polynomial attention, and lower logical encrypted-state footprint. A T = 16/32 comparator with encrypted public-linear input and Q/K/V projections shows projected HSSM succeeding under depth 8/ring 32768, while projected attention succeeds under depth 10/ring 65536. A matched T = 8 OpenFHE/FIDESlib trace finishes at final level 3 and noise-scale degree 2 on both backends. These results make public-decay carry a practical FHE co-design lever for encrypted sequence inference from bounded projected features.
- Abstract(参考訳): ローテーション、暗号化された製品、暗号文の実体化、乗算深度、ブートストラップ圧力が通常のニューラルネットワークコストを支配しているため、完全同型暗号化(FHE)はシーケンスモデル設計を変更する。
本稿では, 局所的な書き込みパスに暗号文と暗号文の乗算を残しながら, 暗号文と平文のパブリック崩壊によって状態が更新された時/時/時空間ブロックであるHSSM(Public-decay homomorphic state space model)を提案する。
設計は、シーケンス全体にわたって固定された暗号化状態を保持する。
評価されたワークフローは、クライアント側のトークン化、フリーズされたfastTextルックアップ、プロジェクション、クリッピング、暗号化、復号化、しきい値設定を、バウンダリされた機能に対するサーバ側の暗号化評価から分離する。
完全なRotten TomatoesとSST-2バリデーションの分割では、暗号化されたHSSMパスはプレーンテキストの分類と正確に一致し、0.7505と0.7420の精度に達した。
同じfastTextワークロードにおけるHEフレンドリな多項式の注意に対して、HSSMは5倍高速で実行しながら、フルシーケンスのタスク品質にマッチするか、超過します。
ペアリングされたL40S演算レベル行は、キャッシュされた最終トーケン多項式アテンションよりも1.34-1.62倍のレイテンシ、フルシーケンス多項式アテンションより30-258倍のレイテンシ、論理的な暗号化状態フットプリントを示している。
暗号化された公開線形入力とQ/K/Vプロジェクションを備えたT = 16/32コンパレータでは、HSSMは深さ8/ring 32768で成功し、予測された注意は深さ10/ring 65536で成功している。
一致したT = 8 OpenFHE/FIDESlibトレースは最終レベル3で終了し、ノイズスケールディレクタ2は両方のバックエンドで終了する。
これらの結果により、パブリックデカイは、有界な投影された特徴から暗号化されたシーケンス推論のための実用的なFHE共設計レバーを運ぶことができる。
関連論文リスト
- Decryption Through Polynomial Ambiguity: Noise-Enhanced High-Memory Convolutional Codes for Post-Quantum Cryptography [0.0]
本稿では,雑音強調高メモリ畳み込み符号の直接復号化を利用したポスト量子暗号への新しいアプローチを提案する。
提案手法は、構造攻撃を効果的に隠蔽し抵抗するランダムな発電機行列を生成する。
論文 参考訳(メタデータ) (2025-12-02T14:30:03Z) - Sequential Diffusion Language Models [110.06562906987052]
拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。
次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。
本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
論文 参考訳(メタデータ) (2025-09-28T17:59:15Z) - Efficient Decoding Methods for Language Models on Encrypted Data [32.58944595512403]
ホモモルフィック暗号化(HE)は、セキュアな推論のために暗号化されたデータの計算を可能にする。
ニューラルテキスト生成にはargmaxやサンプリングのような復号法が必要である。
我々は,従来の手法に比べて暗号操作を減らし,実用的なグリージー復号を可能にする,HEフレンドリーなargmaxアルゴリズムであるCutmaxを導入する。
論文 参考訳(メタデータ) (2025-09-10T08:23:14Z) - Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
離散拡散言語モデルは、テキスト生成に強い可能性を示している。
半自己回帰推論による微調整ミスアライメントの標準化
我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
論文 参考訳(メタデータ) (2025-08-27T02:49:33Z) - FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。
いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
論文 参考訳(メタデータ) (2024-10-27T15:53:49Z) - Three-Input Ciphertext Multiplication for Homomorphic Encryption [6.390468088226496]
ホモモルフィック暗号化(HE)は、暗号文上で直接計算することができる。
HEは、ニューラルネットワーク推論、診断、財務データ分析など、プライバシ保護コンピューティングに不可欠である。
本稿では,計算の複雑さを低減するために,3入力暗号文の乗算を提案する。
論文 参考訳(メタデータ) (2024-10-17T13:40:49Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳(メタデータ) (2024-04-18T09:17:06Z) - Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models [57.20432226304683]
非自己回帰(NAR)モデリングは、音声処理においてますます注目を集めている。
エンドツーエンドのNAR音声認識システムを提案する。
提案手法は低レイテンシ条件下でのオンラインASR認識を改善する。
論文 参考訳(メタデータ) (2021-07-20T11:42:26Z) - FFConv: Fast Factorized Neural Network Inference on Encrypted Data [9.868787266501036]
本稿では、畳み込みと暗号文のパッキングを統一するFFConvと呼ばれる低ランク分解法を提案する。
先行技術であるLoLaとFalconと比較して,提案手法は,それぞれ最大87%,12%の遅延を減少させる。
論文 参考訳(メタデータ) (2021-02-06T03:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。