論文の概要: Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference
- arxiv url: http://arxiv.org/abs/2605.22237v2
- Date: Fri, 22 May 2026 03:40:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 14:44:53.775448
- Title: Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference
- Title（参考訳）: HE-Friendly推論のための決定型二次ReLU置換法
- Authors: Rui Li, Wenyuan Wu, Weijie Miao,
- Abstract要約: ホモモルフィック暗号化(FHE)は、加算と乗算のみをサポートする。
完全同型暗号(FHE)は加算と乗算のみをサポートする。
- 参考スコア（独自算出の注目度）: 2.902790406288288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fully homomorphic encryption (FHE) supports only additions and multiplications, so FHE-only neural-network inference typically replaces ReLU with polynomials fitted over empirical activation intervals. Such interval fitting often requires higher-degree polynomials to control activation error, incurring homomorphic evaluation costs, while classification is determined by the final logit decision. We revisit ReLU replacement from a decision-aware perspective: given a trained single-hidden-layer ReLU MLP and a specified calibration set, can an HE-friendly low-degree polynomial replace ReLU without retraining while preserving calibration-set decisions? We focus on quadratic replacement, the lowest-degree that retains a genuine per-unit nonlinearity. For calibration sets positive-margin separable in the lifted space, we formulate quadratic replacement as a linear separation problem, yielding necessary and sufficient conditions for calibration-lossless replacement and a constructive algorithm for the coefficients. When the positive-margin condition fails -- often because a few near-boundary or misclassified calibration samples bring the lifted hulls into contact -- we extend the same geometric framework via reduced convex hulls and Lagrangian-dual soft-margin relaxations. These cap the weight any single sample can carry, converting the problem into smaller convex quadratic programs that yield approximately feasible coefficients with high empirical agreement on calibration-set decisions. In particular, at the maximal weight cap $μ=1$, the reduced-convex-hull relaxation reduces to standard convex-hull separation; the relaxation thus continuously extends the positive-margin exact theory. Under CKKS, the quadratic replacement matches plaintext top-1 accuracy on multiple benchmarks, running 3.7--4.1$\times$ faster than Remez-7 in the activation module and 1.18--1.68$\times$ faster end-to-end.
- Abstract（参考訳）: 完全同型暗号(FHE)は加算と乗法のみをサポートするため、FHEのみのニューラルネットワーク推論は、通常、ReLUを経験的アクティベーション間隔を超えた多項式に置き換える。
このようなインターバルフィッティングは、最終的なロジット決定によって分類が決定されるのに対して、活性化誤差を制御するために高次多項式を必要とすることが多い。
訓練された単一階層のReLU MLPと特定のキャリブレーションセットを考えると、HEフレンドリーな低次多項式はリトレーニングせずにReLUを置き換えることができるのか?
我々は、単位単位当たりの真の非線形性を保持する最低度である二次置換に焦点をあてる。
昇降空間で分離可能な正マージン集合をキャリブレーションするためには、2次置換を線形分離問題として定式化し、キャリブレーションロスレス置換に必要な条件と係数の構成的アルゴリズムを導出する。
正のマージン状態が失敗すると(しばしば、近縁または誤分類されたキャリブレーションのサンプルが持ち上げられた船体を接触させるため)、縮退した凸殻とラグランジアン二重軟マージン緩和によって同じ幾何学的枠組みを拡張する。
これらの重みは、任意のサンプルが持てる重みを覆い、この問題をキャリブレーション・セットの決定に関する経験的合意の高いほぼ可能な係数をもたらすより小さな凸二次プログラムに変換する。
特に、最大重量上限$μ=1$では、縮小凸-ハル緩和は標準凸-ハル分離に還元される。
CKKSでは、複数のベンチマークで3.7--4.1$\times$をアクティベーションモジュールでRemez-7より高速に、1.18--1.68$\times$を高速なエンドツーエンドで実行している。
関連論文リスト
- Tail allocation for conformal prediction intervals [1.0163716169047106]
本研究では,報告された予測セットが単一区間でなければならない場合の回帰の分割等式予測について,目標限界範囲が1-$である場合,名目上の誤発見レベルが$$である場合について検討する。
この報告制約の下では、自然条件対象は、等尾区間やおそらく非連結な高確率集合ではなく、条件質量が少なくとも1-$の最も短い区間である。
このシングルインターバルをローテールアロケーションによってパラメータ化し、名目上の誤発見が2つのエンドポイント間でどのように分割されるかを決定する。
論文 参考訳（メタデータ） (2026-04-28T04:14:27Z) - Co-optimization for Adaptive Conformal Prediction [9.881784717196675]
中心$m(x)$と半径$h(x)$を共同最適化することにより予測間隔を学習するフレームワークを提案する。
合成および実ベンチマークの実験は、CoCPが一貫して短い間隔で生成し、最先端の条件付きカバレッジ診断を実現することを示した。
論文 参考訳（メタデータ） (2026-03-02T10:43:19Z) - Multivariate Latent Recalibration for Conditional Normalizing Flows [6.932606401614012]
ラテント校正は、ラテントキャリブレーション上の有限サンプル境界を持つラテント空間の変換を学ぶ。
LRは再校正モデルの潜時校正誤差と負の対数類似度を一貫して改善する。
論文 参考訳（メタデータ） (2025-05-22T13:08:20Z) - Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。
我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。
NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
論文 参考訳（メタデータ） (2025-03-23T10:52:36Z) - A Complete Set of Quadratic Constraints for Repeated ReLU and Generalizations [2.602294505324352]
完全集合のすべての QC を満たす関数は2つしかなく、 ReLU の繰り返しと ReLU の反転である。
繰り返しReLUに対して、同様の完全集合の増分QCを導出する。
基本構成は、他の部分線型活性化関数に対するQCの完全集合を導出するためにも用いられる。
論文 参考訳（メタデータ） (2024-07-09T14:18:30Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。
以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。
私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
論文 参考訳（メタデータ） (2024-02-06T01:29:35Z) - Polynomial-Time Solutions for ReLU Network Training: A Complexity
Classification via Max-Cut and Zonotopes [70.52097560486683]
我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。
特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
論文 参考訳（メタデータ） (2023-11-18T04:41:07Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - Square Root Bundle Adjustment for Large-Scale Reconstruction [56.44094187152862]
QR分解によるランドマーク変数のnullspace marginalizationに依存するバンドル調整問題の新たな定式化を提案する。
平方根束調整と呼ばれる私たちのアプローチは、一般的に使用されるSchur補完トリックと代数的に等価です。
BALデータセットを用いた実世界での実験では、提案されたソルバが単一の精度でも平均的等しく正確なソリューションで達成できることを示す。
論文 参考訳（メタデータ） (2021-03-02T16:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。