論文の概要: Static Bootstrap Placement for Encrypted Language Model Decoding

• arxiv url: http://arxiv.org/abs/2610.04912v1
• Date: Sun, 04 Oct 2026 03:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 08:03:17.321452
• Title: Static Bootstrap Placement for Encrypted Language Model Decoding
• Title（参考訳）: 暗号化言語モデル復号のための静的ブートストラップ配置
• Abstract要約: 同型暗号化の下でセキュアな推論は、クライアントがプロンプトを公開せずに計算をアウトソースする。 サーバ上で全ループを実行し、暗号化された各トークンを選択し、その埋め込みを検索し、暗号化された状態に書き戻すAR-HEを構築します。 あるルールでは、すべてのブートストラップを検索せずに実行中に配置するので、トークンのブートストラップコストは、実行開始前に知られているコンテキスト長の式である。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models increasingly serve prompts that carry private data, and secure inference under homomorphic encryption lets a client outsource the computation without revealing the prompt. Existing secure inference systems run a forward pass without consuming a token under encryption, and generating text with them requires a client round trip at every generated token. Keeping the loop on the server instead requires selecting and consuming a token under encryption, and placing bootstraps for a loop body that grows with the context. We build AR-HE, which runs the whole loop on the server, selects each token under encryption, retrieves its embedding, and writes it back into the encrypted state. The client sends one prompt and remains offline until the output. One rule places every bootstrap in the run, without search, so the bootstrap cost of a token is a formula in the context length that is known before the run starts. The schedule skips work whose result cannot reach the output, packs bootstraps that share an operand, and keeps the keys and values of past positions in an encrypted cache. With every optimization applied, generating a GPT-2 small token costs 544 seconds on one NVIDIA H100, down from 4715 seconds without optimization. The prompt step before it costs 4630 seconds. The cache alone takes a generated step from 11751 bootstraps to 1072. The formula predicts every step we measured, including steps of a model it was not derived from.
• Abstract（参考訳）: 言語モデルは、プライベートデータを運ぶプロンプトをますます提供し、均質な暗号化の下でセキュアな推論により、クライアントはプロンプトを公開せずに計算をアウトソースできる。 既存のセキュアな推論システムは、暗号化されたトークンを使わずにフォワードパスを実行し、それを使ってテキストを生成するには、生成されたトークン毎にクライアントのラウンドトリップが必要になる。 代わりに、サーバー上のループを維持するには、暗号化の下でトークンを選択して消費し、コンテキストに応じて成長するループボディにブートストラップを置く必要がある。 サーバ上で全ループを実行し、暗号化された各トークンを選択し、その埋め込みを検索し、暗号化された状態に書き戻すAR-HEを構築します。 クライアントは1つのプロンプトを送信し、出力までオフラインのままである。 あるルールでは、すべてのブートストラップを検索せずに実行中に配置するので、トークンのブートストラップコストは、実行開始前に知られているコンテキスト長の式である。 スケジュールは出力に到達できない作業をスキップし、オペランドを共有するブートストラップをパックし、過去の位置のキーと値を暗号化キャッシュに保持する。 最適化が適用されるたびに、GPT-2の小さなトークンの生成は1つのNVIDIA H100で544秒かかり、最適化なしで4715秒から減少する。 所要時間は4630秒。 キャッシュ単独では、11751ブートストラップから1072までの生成ステップを踏む。 この公式は、私たちが測定したすべてのステップを予測します。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• TokTier: Exact Stateful CPU+GPU Tokenization for Agentic LLM Serving [7.926191097327915]
  コーディングエージェントは、最も多くを支払う:セッションは、小さな追加の後、繰り返し長い書き起こしを提出する。 TokTierは、この2モードのワークロードのためのステートフルなCPU+GPUトークンサービスである。
  論文  参考訳（メタデータ） (2026-07-31T17:56:30Z)
• Incremental BPE Tokenization [12.857819598120676]
  本稿では,インクリメンタルByte Pairのための新しいアルゴリズムを提案する。 モデル(BPE)トークン化。 病理学的入力に対するOpenAIのTiktokenよりも大幅に遅延を減少させることを示した。
  論文  参考訳（メタデータ） (2026-05-29T04:04:32Z)
• Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
  Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。 Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-05-28T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。