論文の概要: HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation
- arxiv url: http://arxiv.org/abs/2609.01730v1
- Date: Tue, 01 Sep 2026 18:02:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:17.77888
- Title: HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation
- Title（参考訳）: HEAT:近似-重み共適応による完全同型推論の高速化
- Abstract要約: 同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
- 参考スコア（独自算出の注目度）: 56.14416807766864
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fully homomorphic encryption (FHE) allows a server to run a language model directly on encrypted user prompts, but current approaches remain prohibitively slow. Ciphertexts natively support only addition, multiplication, and rotation, and multiplications may be composed only to a bounded depth before a costly bootstrapping operation is needed to continue. Every nonlinearity must therefore be approximated by an iterative method, and each iteration uses multiplications. A higher iteration count buys precision but exhausts the available depth faster and triggers more bootstraps, which dominate latency. Existing approaches fix the iteration counts uniformly across the model rather than tailoring them to each site's error tolerance. We introduce Homomorphic Encryption-Aware Training (HEAT), a fine-tuning method that makes the per-nonlinearity iteration counts learnable, enabling them and the model weights to co-adapt during training. HEAT optimizes iterations with respect to the task objective, allowing the model to adapt to approximation errors encountered during inference without architectural changes or retraining from scratch. On encrypted GPT-2 decoding, HEAT reduces iterations by $3.1\times$, bootstraps by $1.6\times$, and end-to-end latency by $1.4\times$, while improving decode agreement over the calibrated baseline.
- Abstract（参考訳）: 完全同型暗号化(FHE)は、サーバが暗号化されたユーザープロンプト上で直接言語モデルを実行することを可能にするが、現在のアプローチは違法に遅いままである。
暗号文は、加算、乗算、回転のみをネイティブにサポートし、乗算は、コストのかかるブートストラップ操作が継続される前に、境界の深さにのみ構成することができる。
したがって、すべての非線形性は反復法によって近似されなければならないし、各反復は乗法を使用する。
より高いイテレーション数で精度が上がるが、利用可能な深さが早く消費され、より多くのブートストラップがトリガーされ、レイテンシが支配される。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
我々は,非直線的反復回数を学習可能な微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
HEATは、タスクの目的に関するイテレーションを最適化し、アーキテクチャの変更やスクラッチからのトレーニングなしに、推論中に発生する近似エラーにモデルを適応させる。
暗号化されたGPT-2デコーディングでは、HEATはイテレーションを3.1\times$、ブートストラップを1.6\times$、エンドツーエンドのレイテンシを1.4\times$で削減し、校正ベースラインでのデコード合意を改善している。
関連論文リスト
- REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - LAWS: Learning from Actual Workloads Symbolically -- A Self-Certifying Parametrized Cache Architecture for Neural Inference, Robotics, and Edge Deployment [0.0]
自己認識型推論キャッシュアーキテクチャであるLAWS(Reearning from Actual Workloads Symbolically)を紹介した。
各専門家は、ベースモデルの確率言語トライ(PLT)のノードによって定義された入力空間の領域をカバーし、全ての入力に対して一様に保持される形式的なエラーを持つ。
論文 参考訳（メタデータ） (2026-04-12T19:18:19Z) - Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。
LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。
原子のコミットメントの前に、言語や構造的受容の境界を画定する。
論文 参考訳（メタデータ） (2026-03-05T18:25:26Z) - $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns [0.16921396880325779]
アーキテクチャレベルでの継続的な学習に対処するデコーダのみのバックボーンであるTRC$2(Thalamically Routed Cortical Columns)を導入します。
結果として得られるブロックはスパースでチャンク並列であり、各サブシステムのクリーンなアブレーションを維持しながら、効率的なトレーニングと推論を可能にする。
論文 参考訳（メタデータ） (2026-02-25T23:38:16Z) - Fast and Accurate Causal Parallel Decoding using Jacobi Forcing [41.89066334075016]
Jacobi Forcingはプログレッシブ蒸留パラダイムであり、モデルが独自の並列復号軌道で訓練される。
我々は,複数ブロックの復号化とリジェクション・リサイクリングを導入し,最大4.5倍高いトークン受入数と4.0倍のウォールクロック・スピードアップを実現した。
論文 参考訳（メタデータ） (2025-12-16T18:45:18Z) - Amortized Latent Steering: Low-Cost Alternative to Test-Time Optimization [3.9311957222075935]
Amortized Latent Steering (ALS)は、反復最適化を1つのオフライン計算ベクトルに分解する。
ALSは反復的手法よりも2～5倍のスピードアップを達成し、強欲なCoT(Chain-of-Thought)と自己一貫性(Self-Consistency)のベースラインをマッチまたは超過する。
結果から,潜伏最適化のメリットの大部分はオフラインで取得可能であることが示され,高度な推論技術が本番デプロイメントに有効であることが確認された。
論文 参考訳（メタデータ） (2025-09-10T07:03:35Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳（メタデータ） (2025-08-27T15:40:25Z) - Instantaneous Grammatical Error Correction with Shallow Aggressive
Decoding [57.08875260900373]
即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。
SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。
英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
論文 参考訳（メタデータ） (2021-06-09T10:30:59Z) - Compressing 1D Time-Channel Separable Convolutions using Sparse Random
Ternary Matrices [65.4388266814055]
1次元時間チャネル分離可能な畳み込みの1x1-畳み込みを、定数でスパースな乱数三元行列で-1,0,+1$の重みで置き換える。
Google Speech Commands v1のコマンド認識のために、最新の精度を同じネットワークサイズで97.21%$から97.41%$に改善します。
librispeech上での音声認識では、トレーニングすべき重みの数は半分になり、浮動小数点ベースラインの単語誤り率の約1%を犠牲にします。
論文 参考訳（メタデータ） (2021-03-31T15:09:20Z) - FastLR: Non-Autoregressive Lipreading Model with Integrate-and-Fire [74.04394069262108]
我々は,全てのターゲットトークンを同時に生成する非自己回帰(NAR)リップリーダーモデルであるFastLRを提案する。
FastLRは最先端のリップリーダーモデルと比較して10.97$times$のスピードアップを実現している。
論文 参考訳（メタデータ） (2020-08-06T08:28:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。