論文の概要: An Open-Source End-to-End FHE Implementation for Privacy-Preserving Llama 3 8B Inference

• arxiv url: http://arxiv.org/abs/2609.12378v2
• Date: Wed, 16 Sep 2026 07:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.385504
• Title: An Open-Source End-to-End FHE Implementation for Privacy-Preserving Llama 3 8B Inference
• Title（参考訳）: プライバシ保護型Llama 3 8B推論のためのオープンソースエンドツーエンドFHE実装
• Abstract要約: クラウドサービスは通常、ユーザがモデルプロバイダにプロンプトを送信する必要があり、プライバシのリスクが生じる。 本稿では,Llama の暗号文パッキングとモデル実行を共設計した FHE 推論システム Odin を提案する。
• 参考スコア（独自算出の注目度）: 1.6799377888527687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cloud LLM services typically require users to send prompts to a model provider, creating a privacy risk. Fully homomorphic encryption (FHE) lets a server perform inference without decrypting the input, but representing data as ciphertexts adds storage and computational overhead. In CKKS-based LLM inference, the packing scheme maps logical tensors to ciphertexts and slots. It therefore determines the ciphertext count and the homomorphic cost of linear layers, and it constrains how data pass between linear layers, attention, and nonlinear computation. As models and sequences grow, inefficient layouts accumulate encoding, compute, and layout-conversion overhead. We present Odin, an FHE inference system that co-designs ciphertext packing and model execution for Llama. Starting from a THOR-style baseline whose bottleneck is weight encoding, Odin uses a feature-major cross-layer layout to unify residual connections and layer interfaces, and builds transient intra-operator layouts for linear projections and attention. This reduces redundant plaintext encoding of weights in wide projections. Within attention, QK^T produces scores that Softmax can consume directly, and PV consumes the resulting probabilities, avoiding intermediate repacking. For nonlinear ops, we use minimax polynomial approximation with input-range control and joint error allocation guided by model quality, reducing polynomial degree and multiplicative depth. To our knowledge, Odin is the first open-source end-to-end GPU CKKS implementation of Llama-3. With Llama-3-8B weights and a 128-token input, Odin evaluates all 32 Transformer layers on a single NVIDIA H100 80 GB GPU. Server-side end-to-end FHE evaluation takes 366.4 s and 58.9 GiB peak device memory. Under the same model, input, CKKS parameters, and hardware, THOR takes 1651.9 s, a 4.51x speedup.
• Abstract（参考訳）: クラウドLLMサービスは一般的に、ユーザがモデルプロバイダにプロンプトを送信する必要があるため、プライバシのリスクが生じる。 完全同型暗号化(FHE)により、サーバは入力を復号することなく推論を行うが、暗号文としてデータを表現することでストレージと計算オーバーヘッドが増大する。 CKKSベースのLLM推論では、パッキングスキームは論理テンソルを暗号文とスロットにマッピングする。 したがって、線形層の暗号文数と同型コストを判定し、線形層間のデータの通過、注意、非線形計算を制約する。 モデルとシーケンスが大きくなるにつれて、非効率なレイアウトはエンコーディング、計算、レイアウト変換のオーバーヘッドを蓄積する。 本稿では,Llama の暗号文パッキングとモデル実行を共設計した FHE 推論システム Odin を提案する。 ウェイトエンコーディングがボトルネックとなるTHORスタイルのベースラインから始め、Odinは特徴量の多いクロスレイヤレイアウトを使用して、残余接続とレイヤインターフェースを統一し、線形投影とアテンションのための過渡的なオペレータ内レイアウトを構築する。 これにより、広射影における重みの冗長な平文符号化が削減される。 注意の中では、QK^TはSoftmaxが直接消費できるスコアを生成し、PVは中間的な再パッケージを避けるために結果の確率を消費する。 非線形オプションでは、入力範囲制御による最小多項式近似と、モデル品質で導かれる結合誤差割り当てを用い、多項式次数と乗算深さを減少させる。 我々の知る限り、OdinはLlama-3の最初のエンドツーエンドGPU CKKS実装である。 Llama-3-8Bの重量と128トンの入力で、Odinは1つのNVIDIA H100 80 GB GPU上の32のトランスフォーマー層を評価している。 サーバサイドのエンドツーエンド FHE 評価は 366.4 s と 58.9 GiB のピークデバイスメモリを使用する。 同じモデル、入力、CKKSパラメータ、ハードウェアでは、THORは1651.9秒、速度は4.51倍である。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• FEnc$^2$: Unifying Data Packing for Efficient Private Inference via Convolution and Architecture-Aware Fragment Encoding [26.667496203770074]
  ホモモルフィック暗号化(FHE)は、プライバシを保存する機械学習を可能にするが、極端な計算とメモリオーバーヘッドを引き起こす。 FEnc2はCKKSベースのプライベート畳み込みニューラルネットワーク推論のための統一的で原則化されたフラグメントベースの符号化フレームワークである。 これにより、NTTやキーウィッチといったプリミティブレベルの最適化によって、ハードウェア上での暗号文のカウントとワークロードのプレッシャーを低減することができる。
  論文  参考訳（メタデータ） (2026-06-15T07:55:55Z)
• Encrypted Neural Networks without Overflows [4.348418382807017]
  ホモモルフィック暗号化(英語版)(FHE)は、暗号化されたデータ上でニューラルネットワークを評価することで、プライベート推論を可能にする。 CKKSスキームは最も効率的なFHE実装のバックボーンである。 本稿では,ネットワーク内の全ニューロンの範囲の認定境界を計算する形式的検証手法を提案する。
  論文  参考訳（メタデータ） (2026-05-21T23:08:23Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• Scaling up Privacy-Preserving ML: A CKKS Implementation of Llama-2-7B [20.74505614207065]
  非対話型秘密言語モデル(LLM)を提供するための主要な解決策として、同型暗号化(FHE)が登場した 本稿では,FHE ベースのプライベート LLM 推論ソリューションを提案する。 最大4096個の入力トークンに対して,CKKSに基づくLlama-2-7Bプライベート推論のエンドツーエンド実装について述べる。
  論文  参考訳（メタデータ） (2026-01-26T14:17:23Z)
• Network and Compiler Optimizations for Efficient Linear Algebra Kernels in Private Transformer Inference [2.725051134664174]
  ホモモルフィック暗号化(FHE)は、暗号化されたクエリを直接計算できる。 暗号化トランスフォーマー推論の実行は、プログラマが標準カーネルをFHEが提供する制約付き命令セットにマップする必要があるため、難しい。
  論文  参考訳（メタデータ） (2025-12-11T21:56:47Z)
• Efficient Decoding Methods for Language Models on Encrypted Data [32.58944595512403]
  ホモモルフィック暗号化(HE)は、セキュアな推論のために暗号化されたデータの計算を可能にする。 ニューラルテキスト生成にはargmaxやサンプリングのような復号法が必要である。 我々は,従来の手法に比べて暗号操作を減らし,実用的なグリージー復号を可能にする,HEフレンドリーなargmaxアルゴリズムであるCutmaxを導入する。
  論文  参考訳（メタデータ） (2025-09-10T08:23:14Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers [65.35142508909892]
  AxoNNと呼ばれる,スケーラブルでポータブルなオープンソースフレームワークで実装された新しい4次元ハイブリッド並列アルゴリズムを提案する。 本稿では,Frontier 上で AxoNN を用いて405ビリオンパラメータ LLM の微調整を行う。
  論文  参考訳（メタデータ） (2025-02-12T06:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。