論文の概要: DegreeSpar: Structured Degree Sparsity for Efficient Secure Transformer Inference

• arxiv url: http://arxiv.org/abs/2609.32204v1
• Date: Sat, 26 Sep 2026 03:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:58:24.460918
• Title: DegreeSpar: Structured Degree Sparsity for Efficient Secure Transformer Inference
• Title（参考訳）: DegreeSpar: セキュアなトランスフォーマー推論のための構造化Degree Sparsity
• Abstract要約: DegreeSparを導入し、非線形次数に対する構造的スペーシングとしてトランスフォーマー圧縮をセキュアに定式化する。 多項式次数は、安全な非線形評価のコストを直接制御する。 DegreeSparは、モデルスケール、タスク、シーケンス長間の精度とレイテンシのトレードオフを一貫して改善する。
• 参考スコア（独自算出の注目度）: 17.430621350755338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Secure Transformer inference protects sensitive inputs but incurs substantial cryptographic overhead, with nonlinear operations such as Softmax and GeLU becoming major bottlenecks. Existing compression methods reduce nonlinear complexity, sequence-dependent computation, or model structure through separately defined compression variables. Under aggressive compression, however, these independently optimized perturbations can accumulate: at a matched compression level, stacking representative approximation, token-pruning, and model-pruning methods reduces ViT-S accuracy from 80.20% to 76.41%. We introduce DegreeSpar, which formulates secure Transformer compression as structured sparsification over nonlinear polynomial degrees. Polynomial degree directly controls the cost of secure nonlinear evaluation, while computation-aligned zero-degree structures expose token-level and model-dimension computation as removable within the same optimization space. DegreeSpar further incorporates approximation-aware training for low-degree Softmax and GeLU, enabling aggressive degree reduction and creating the optimization headroom required for structured computation removal. Across vision and language Transformers, DegreeSpar consistently improves the accuracy-latency trade-off across model scales, tasks, and sequence lengths, achieving speedups from 2.29x to 6.63x over the corresponding baselines. Under the same network setting, DegreeSpar achieves 92.68% accuracy on BERT/SST-2 in 110.55 s, compared with 92.66% in 167.26 s for CipherPrune, the closest prior hybrid secure-inference approach. These results establish structured polynomial degree as an effective shared optimization space for secure Transformer compression.
• Abstract（参考訳）: セキュアトランスフォーマー推論(Secure Transformer inference)は、センシティブな入力を保護するが、かなりの暗号オーバーヘッドを発生させ、SoftmaxやGeLUといった非線形演算がボトルネックとなる。 既存の圧縮法は、別々に定義された圧縮変数を通じて非線形複雑性、シーケンス依存計算、またはモデル構造を減少させる。 しかし、アグレッシブ・圧縮の下では、これらの独立に最適化された摂動は蓄積される: 一致した圧縮レベルでは、代表近似、トークン・プルーニング、モデル・プルーニングが積み重なり、ViT-Sの精度は80.20%から76.41%に低下する。 DegreeSparを導入し、非線形多項式次数に対する構造化スペーシングとしてトランスフォーマー圧縮をセキュアに定式化する。 多項式次数は安全な非線形評価のコストを直接制御し、計算整合ゼロ次構造はトークンレベルとモデル次元の計算を同じ最適化空間内で取り除くことができるように公開する。 DegreeSparはさらに、低次SoftmaxとGeLUの近似アウェアトレーニングを導入し、アグレッシブ度を低減し、構造化された計算除去に必要な最適化ヘッドルームを作成する。 DegreeSparは、視覚と言語を横断するトランスフォーマーにおいて、モデルスケール、タスク、シーケンス長間の精度とレイテンシのトレードオフを一貫して改善し、対応するベースラインの2.29xから6.63xまでのスピードアップを実現している。 同じネットワーク環境下では、DegreeSparはBERT/SST-2を110.55秒で92.68%精度、CipherPruneの92.66%の167.26秒で92.66%精度を達成した。 これらの結果は、セキュアなトランスフォーマー圧縮のための効率的な共有最適化空間として構造化多項式次数を確立する。

関連論文リスト

• Learned Preconditioning for a Primal-Dual Interior-Point Method [1.7694768544626636]
  内部点法(IPM)は、制約付き最適化において最も広く使われているアルゴリズムの一つである。 pdProjLIP に学習前条件を組み込むスムーズな非線形プログラムのための IPM である pd を導入する。 学習されたイテレーションはHessianの評価を避け、Newton-systemはGPU並列化のために一階演算と座標演算のみを使用する。
  論文  参考訳（メタデータ） (2026-09-28T17:24:54Z)
• ATLAS: Automated Approximation of Transformers for Efficient Homomorphic Inference in One Hour [23.72956569553183]
  ホモモルフィック暗号化(FHE)は、プライベート推論に対して強力な暗号化保証を提供する。 FHEの下でトランスフォーマーモデルをデプロイすることは、依然として高価である。 我々は、層ごとの近似設定を自動で設定するATLASを提案する。
  論文  参考訳（メタデータ） (2026-07-26T06:08:13Z)
• Layer-Parallel Inference Reduces Encrypted Nonlinear Depth in Transformers [25.98504186362678]
  本研究では, SNLP(Structured Layerism)により, この層間構造がFHEに親しみやすくなったか検討する。 SNLPは、階層的に非線形な深さをLステージから少数のソルバと線形構造補正に還元する。 すべてのテストモデルにおいて、SNLPは逐次イテレーションよりも増幅率が低い。
  論文  参考訳（メタデータ） (2026-07-06T08:51:22Z)
• Adaptive Pruning of Pretrained Transformer via Differential Inclusions [48.47890215458465]
  現在の圧縮アルゴリズムは一定の圧縮比でプルーーン変換器であり、各比に対して独自のプルーニングプロセスを必要とする。 本研究では,マスクパラメータの差分包摂性に基づいて,事前学習した変圧器を1つのプルーニング段階内において任意の所望の比率でプルーニングすることを提案する。 このダイナミクスは、ネットワーク構造を識別するサポートセットを持つマスクパラメータの全体正規化ソリューションパスを生成することができる。
  論文  参考訳（メタデータ） (2025-01-06T06:34:52Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Adaptive SGD with Polyak stepsize and Line-search: Robust Convergence and Variance Reduction [26.9632099249085]
  AdaSPSとAdaSLSと呼ばれる2種類の新しいSPSとSLSを提案し、非補間条件における収束を保証する。 我々は, AdaSPS と AdaSLS に新しい分散低減技術を導入し, $smashwidetildemathcalO(n+1/epsilon)$グラデーション評価を必要とするアルゴリズムを得る。
  論文  参考訳（メタデータ） (2023-08-11T10:17:29Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
  ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
  論文  参考訳（メタデータ） (2020-06-01T05:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。