論文の概要: Perseus: A Full-Stack System for Homomorphic Model Inference

• arxiv url: http://arxiv.org/abs/2611.04488v1
• Date: Tue, 03 Nov 2026 08:19:10 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:27:49.584384
• Title: Perseus: A Full-Stack System for Homomorphic Model Inference
• Title（参考訳）: Perseus: 同型モデル推論のためのフルスタックシステム
• Abstract要約: PerseusはフリーでオープンなPythonライブラリで、暗号化されたモデル推論の完全なスタックをサポートする。 複数のモデルとモダリティにまたがって最先端のレイテンシを実現する。 Llama-3-8Bの他の実装よりも高速なシングルトーケンデコードである。
• 参考スコア（独自算出の注目度）: 56.14416807766864
• License:
• Abstract: Large Language Models (LLMs) have made it exceptionally convenient for users to send their private data to model providers, which process them in plaintext. Fully Homomorphic Encryption (FHE) promises to secure remote inference by computing directly on encrypted data, yet it has remained prohibitively slow. The effort to make it practical remains fragmented, with most existing frameworks being closed-source, which keeps progress from compounding. We present Perseus, a free and open Python software library that supports the full stack of encrypted model inference, from the cryptographic backend and data packing, to encrypted nonlinearities and end-to-end model execution. Perseus ships with built-in novel optimizations, one at each level of the stack: in-kernel regeneration of key-switching keys at the (i) backend level, a complex variant of Cachemir packing at the (ii) data level, and a state-of-the-art bootstrap placer that is both packing- and magnitude-aware at the (iii) model level. Perseus achieves state-of-the-art latency across multiple models and modalities, within $3\%$ of the plaintext models' accuracy and perplexity. Remarkably, it is $3.96\times$ faster at single-token decoding than any other implementation on Llama-3-8B. We initiate, for the first time, a public speedrun on encrypted GPT-2, so that progress can compound.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザがモデルプロバイダにプライベートデータを送信し、平文で処理するのに非常に便利である。 FHE(Fully Homomorphic Encryption)は、暗号化されたデータを直接計算することで、リモート推論を確保することを約束するが、それは違法に遅いままである。 ほとんどの既存のフレームワークはクローズドソースであり、進捗が複雑にならないようにしている。 Perseusは、暗号化されたバックエンドとデータパッキングから、暗号化された非線形性とエンドツーエンドのモデル実行まで、完全に暗号化されたモデル推論のスタックをサポートする、フリーでオープンなPythonソフトウェアライブラリである。 Perseusは、スタックの各レベルで1つの新しい最適化が組み込まれている。 (i)バックエンドレベル、Cachemirパッケージの複雑な派生版 (ii)データレベルと、パッキングとマグニチュードの両方を意識した最先端のブートストラッププレーサー (3)モデルレベル。 Perseusは、複数のモデルとモダリティにまたがる最先端のレイテンシを実現する。 注目すべきは、Llama-3-8Bの他のどの実装よりも高速なシングルトーケンデコードである。 我々は、初めて、暗号化されたGPT-2上での公開スピードランを開始し、進捗が複雑になるようにします。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models [0.0]
  シーケンスモデルは、位置をまたいで情報をルーティングするメカニズムであるバックボーンによって区別される。 本論文は、バックボーンに先立って、ほぼ全ての現行モデルで共有される選択を異にする。 量子論の数学から引き出された複素値の代替法について検討し、そこでは状態の位相によって情報を伝達する。
  論文  参考訳（メタデータ） (2026-08-07T15:12:36Z)
• Public-Decay Homomorphic State Space Models for Private Sequence Inference [0.0]
  ローテーション、暗号化された製品、暗号文の実体化、乗算深度、ブートストラップ圧力が通常のニューラルネットワークコストを支配できるため、FHEはシーケンスモデル設計を変更する。 本稿では,公開デカイホモ状態ホモ空間モデル(HSSM)を提案する。 HSSMは、クライアント側のトークン化、フリーズされたfastTextルックアップ、プロジェクション、クリッピング、暗号化、復号化、バウンダリされた機能に対するサーバ側の暗号化評価からのしきい値設定を分離する。
  論文  参考訳（メタデータ） (2026-05-15T21:35:20Z)
• Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
  Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。 modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
  論文  参考訳（メタデータ） (2026-03-05T03:16:16Z)
• Hermes: High-Performance Homomorphically Encrypted Vector Databases [1.3824176915623292]
  FHE(Fully Homomorphic Encryption)は、機密コンテンツを明らかにすることなく、暗号化されたデータを計算できることを長年約束してきた。 数十年にわたる暗号の進歩にもかかわらず、実世界のリレーショナルデータベースへのFHEの実践的な統合はいまだ明白である。 本稿では,標準SQLエンジン内でFHEネイティブなベクトルクエリ処理を可能にする最初のシステムである textbfHermes を提案する。
  論文  参考訳（メタデータ） (2025-06-03T18:48:17Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。