論文の概要: SPA: Structure-Preserving Approximation of Gated Activations under FHE
- arxiv url: http://arxiv.org/abs/2610.32065v1
- Date: Fri, 23 Oct 2026 02:02:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.324518
- Title: SPA: Structure-Preserving Approximation of Gated Activations under FHE
- Title（参考訳）: SPA: FHE下でのガス化活性の組織保存近似
- Abstract要約: この共有構造を利用するためのSPA(emph-Preserving ApproximationStructure)を提案する。
SPA は、正確な奇数成分 $x/2$ を保持し、x2$ のカーネルとして残っていた偶数のみを近似し、比較のない算術を与える。
Gemma-4-E2B と Llama-3.2-3B による平文実験は、重み更新なしで下流のタスク性能をほぼ維持していることを示している。
- 参考スコア（独自算出の注目度）: 2.902790406288288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nonlinear activation evaluation remains a major bottleneck in neural inference under fully homomorphic encryption (FHE). FHE supports efficient addition and multiplication, but lacks native operations for exponential functions, reciprocals, and value-dependent selection. High-degree polynomial approximations on fixed intervals are therefore commonly used to replace nonlinear activations. They can achieve small errors but often incur substantial multiplicative depth and latency. We observe that several widely used nonlinear activations share the algebraic structure $A(x)=xg(x)$ with $g(-x)=1-g(x)$. This class includes GELU, SiLU, fixed-parameter Swish, and the scalar nonlinear branches of GEGLU/SwiGLU. We propose \SPA{} (\emph{Structure-Preserving Approximation}) to exploit this shared structure. \SPA{} retains the exact odd component $x/2$ and approximates only the even residual as a polynomial in $x^2$, yielding a comparison-free arithmetic kernel. This construction removes redundant odd degrees of freedom and enables lower-cost polynomial evaluation at a given error target. Plaintext experiments with Gemma-4-E2B and Llama-3.2-3B show that SPA largely preserves downstream task performance without weight updates. Fixed-interval CKKS benchmarks show favorable error--latency trade-offs. On $[-5,5]$, \SPA{}-balanced achieves a $3.25\times$ speedup over MOAI (ICLR'~26) for erf-GELU with comparable error. On the same interval, \SPA{}-accurate achieves $79.22\%$ lower root mean squared error (RMSE) and a $10.40\times$ speedup over Euston (S\&P'~26) for QuickGELU. For SiLU, \SPA{}-accurate achieves $19.02\%$ lower RMSE and a $2.06\times$ speedup over THOR (CCS'~25).
- Abstract（参考訳）: 非線形活性化評価は、完全同相暗号(FHE)の下での神経推論において大きなボトルネックとなっている。
FHEは効率的な加算と乗算をサポートするが、指数関数、逆数、値に依存した選択に対するネイティブ操作は欠いている。
したがって、固定区間上の高次多項式近似は、一般に非線形活性化を置き換えるために用いられる。
彼らは小さなエラーを犯すことができるが、しばしばかなりの乗算深度と遅延を引き起こす。
いくつかの広く使われている非線形活性化は代数構造 $A(x)=xg(x)$ と $g(-x)=1-g(x)$ を共有する。
このクラスにはGELU、SiLU、固定パラメータスイッシュ、GEGLU/SwiGLUのスカラー非線形ブランチが含まれる。
この共有構造を利用するために、SPA{} (\emph{Structure-Preserving Approximation})を提案する。
SPA{} は、正確な奇数成分 $x/2$ を保持し、x^2$ の多項式として残される偶数のみを近似し、比較のない算術カーネルを生成する。
この構成は、冗長な奇数自由度を除去し、所定の誤差目標における低コストな多項式評価を可能にする。
Gemma-4-E2B と Llama-3.2-3B による平文実験では、SPA は重み更新なしで下流のタスク性能をほぼ維持している。
固定インターバルCKKSベンチマークでは、エラー-レイテンシのトレードオフが好適である。
5,5]$では、同じエラーを持つerf-GELUのMOAI(ICLR'~26)よりも3.25\times$のスピードアップを達成する。
同じ間隔で、SPA{}-精度は79.22\%$低根平均二乗誤差(RMSE)、QuickGELUのEuston(S\&P'~26)よりも10.40\times$スピードアップを達成した。
SiLUでは、SPA{}-精度が19.02\%以下のRMSEと2.06\times$ THOR (CCS'~25) で達成されている。
関連論文リスト
- Phase Transition from Random Features to Fully Trainable Networks [17.106223672752105]
部分的にトレーニング可能なニューラルネットワークは、ランダムな特徴と完全な適応表現をブリッジする。
本稿では,近似境界における位相遷移パターンの定量化と,学習誤差における類似性について述べる。
最大15層までのネットワークを含む、さまざまな設定にわたる数値実験は、トレーニングエラーで同様の位相遷移を示す。
論文 参考訳（メタデータ） (2026-10-22T17:59:29Z) - A Convergence Framework for Deep $V$-Learning: Error Propagation and Sharp Action-Gap Bounds [0.0]
更新エラーを、フィッティング、遷移再利用、ターゲット構築、リプレイ、アクション選択、探索の6つの残差に分解する。
次数$n-$の統計的誤差境界に対して、最適連続割り当てと、制約された最適値の係数2$以内の整数割り当てを導出する。
これらの結果から, FIFO/インターリーブされたSGDに対して, 厳密な動作スコアを有する固定水平生成-リセット近似-ERM法に対して, 期待されるポリシ-ロス一貫性が得られた。
論文 参考訳（メタデータ） (2026-09-16T15:03:46Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳（メタデータ） (2026-04-12T20:49:33Z) - Adaptive Lipschitz-Free Conditional Gradient Methods for Stochastic Composite Nonconvex Optimization [23.28384210732827]
ALFCG, ALFCGは, 合成非追従変種に対する最初のテクスタダプティブなプロジェクションフリーフレームワークである。
オープンループ減少ステップを使用する従来の方法とは異なり、ALFCGは自己正規化アキュムレータを維持している。
ALFCG-FSが$tildemathcalO(2+-2$と$tildemathcalO(-3+-2)$to 0$を獲得し、ALFCG-MVR2が$tildemathcalO(2+を達成する
論文 参考訳（メタデータ） (2026-03-06T15:20:52Z) - Evolution Strategies at the Hyperscale [57.75314521465674]
本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。
ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。
EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
論文 参考訳（メタデータ） (2025-11-20T18:56:05Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Sublinear Time Quantum Sensitivity Sampling [57.356528942341534]
本稿では、量子感応サンプリングのための統一的なフレームワークを提案し、量子コンピューティングの利点を古典近似問題の幅広いクラスに拡張する。
我々のフレームワークは、コアセットを構築するための合理化されたアプローチを提供し、クラスタリング、回帰、低ランク近似などのアプリケーションにおいて、大幅なランタイム改善を提供します。
論文 参考訳（メタデータ） (2025-09-20T20:18:49Z) - A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization [0.7373617024876725]
Lipschitz-of-$nabla f$
$mathcalS_k|p$。
$mathcalS_k|p$。
$nabla f$.
$mathcalS_k|p$。
論文 参考訳（メタデータ） (2024-09-28T18:16:32Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive
Multi-Step Bootstrap [84.66885506098724]
本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。
AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。
また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
論文 参考訳（メタデータ） (2021-02-09T07:46:34Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。