論文の概要: On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU
Networks
- arxiv url: http://arxiv.org/abs/2011.05530v3
- Date: Tue, 15 Jun 2021 05:14:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 01:09:13.585278
- Title: On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU
Networks
- Title(参考訳): プライバシ保存および検証可能なreluネットワークに対する多項式近似について
- Authors: Ramy E. Ali, Jinhyun So, A. Salman Avestimehr
- Abstract要約: 平方函数は、ReLU関数を置き換えることができる2$の最良の次数ではないことを示す。
実験の結果,提案したアクティベーション関数は正方形関数と比較して最大9.4%の精度で精度が向上することがわかった。
- 参考スコア(独自算出の注目度): 4.297070083645049
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Outsourcing neural network inference tasks to an untrusted cloud raises data
privacy and integrity concerns. To address these challenges, several
privacy-preserving and verifiable inference techniques have been proposed based
on replacing the non-polynomial activation functions such as the rectified
linear unit (ReLU) function with polynomial activation functions. Such
techniques usually require polynomials with integer coefficients or polynomials
over finite fields. Motivated by such requirements, several works proposed
replacing the ReLU activation function with the square activation function. In
this work, we empirically show that the square function is not the best
degree-$2$ polynomial that can replace the ReLU function even when restricting
the polynomials to have integer coefficients. We instead propose a degree-$2$
polynomial activation function with a first order term and empirically show
that it can lead to much better models. Our experiments on the CIFAR-$10$ and
CIFAR-$100$ datasets on various architectures show that our proposed activation
function improves the test accuracy by up to $9.4\%$ compared to the square
function.
- Abstract(参考訳): ニューラルネットワーク推論タスクを信頼できないクラウドにアウトソーシングすることは、データのプライバシと整合性に関する懸念を引き起こす。
これらの課題に対処するため、正則線形単位(ReLU)関数を多項式活性化関数に置き換えることで、プライバシー保護および検証可能な推論手法が提案されている。
そのような手法は通常、整数係数を持つ多項式や有限体上の多項式を必要とする。
このような要求により、ReLUアクティベーション関数を2乗アクティベーション関数に置き換えるいくつかの研究が提案された。
本研究では,多項式を整数係数に制限してもルル関数を置換できる次数2$の多項式は平方関数が最良ではないことを実証的に示す。
代わりに、次数 2$ の多項式活性化関数を1次項で提案し、より優れたモデルが得られることを実証的に示す。
様々なアーキテクチャ上のcifar-$10$およびcifar-$100$データセットに関する実験により、提案する活性化関数は平方関数と比較して最大9.4\%$でテスト精度が向上することが示された。
関連論文リスト
- GINN-LP: A Growing Interpretable Neural Network for Discovering
Multivariate Laurent Polynomial Equations [1.1142444517901018]
本稿では,解釈可能なニューラルネットワークであるGINN-LPを提案する。
私たちの知る限りでは、これは注文に関する事前情報なしで任意の項を発見できる最初のニューラルネットワークである。
GINN-LPは,データセット上での最先端のシンボル回帰手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-18T03:44:29Z) - Piecewise Polynomial Regression of Tame Functions via Integer
Programming [2.457872341625575]
個性関数を持つ非平滑関数のクラスであるtame関数の近似を考える。
単項回帰の混合整数計画法を初めて提示する。
論文 参考訳(メタデータ) (2023-11-22T17:37:42Z) - AutoFHE: Automated Adaption of CNNs for Efficient Evaluation over FHE [17.869772108541998]
本稿では,RSS-CKKSの下でセキュアな推論を行うAutoFHEを提案する。
我々は、AutoFHEが高次手法と比較して、セキュアな推論を1.32times$から1.8times$に加速することを示す。
また、低度の手法に比べて2.56%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-10-12T03:28:14Z) - Regularization of polynomial networks for image recognition [78.4786845859205]
PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。
6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
論文 参考訳(メタデータ) (2023-03-24T10:05:22Z) - Accelerated and Improved Stabilization for High Order Moments of Racah
Polynomials [0.6445605125467573]
Inproved Stabilization (ImSt) と呼ばれる新しいアルゴリズムを提案する。
ImStは、現在のアルゴリズムよりも高次になるまで、幅広いパラメータに対して機能する。
論文 参考訳(メタデータ) (2022-12-30T17:07:26Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳(メタデータ) (2022-02-07T17:47:46Z) - Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations
in Privacy-Preserving Deep Learning [2.5677092608889773]
クライアントサーバ機械学習におけるプライバシの懸念により、プライベート推論(PI)が生まれ、そこでは、ニューラルネットワークが暗号化された入力に直接発生する。
深いプライバシーに配慮したニューラルネットワークを構築するために、すべてのReLUを低度の帯域幅のアクティベーション機能に置き換えることは可能か?
ReLUをPIに置換する際の課題を解析し、簡単なドロップ・アンド・リプレース・ソリューションから始まり、より複雑な置換・アンド・リトレイン戦略を考察する。
論文 参考訳(メタデータ) (2021-07-26T17:33:56Z) - Optimal Gradient-based Algorithms for Non-concave Bandit Optimization [76.57464214864756]
この研究は、未知の報酬関数が非可逆であるようなバンドイット問題の大群を考察する。
我々のアルゴリズムは、非常に一般化されたゼロ階最適化のパラダイムに基づいている。
標準的な楽観的アルゴリズムは次元因子によって準最適であることを示す。
論文 参考訳(メタデータ) (2021-07-09T16:04:24Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳(メタデータ) (2020-11-09T18:32:22Z) - Computational Barriers to Estimation from Low-Degree Polynomials [81.67886161671379]
本研究では,隠れ構造物の存在を検知する作業において,低次構造物のパワーについて検討する。
大規模な「信号+雑音」問題に対して、任意の程度に達成可能な最良の平均二乗誤差に対して、ユーザフレンドリな下界を与える。
応用として,植込みサブマトリクスに対する低次平均2乗誤差の厳密な評価と高密度サブグラフ問題について述べる。
論文 参考訳(メタデータ) (2020-08-05T17:52:10Z) - From Sets to Multisets: Provable Variational Inference for Probabilistic
Integer Submodular Models [82.95892656532696]
サブモジュール関数は機械学習やデータマイニングにおいて広く研究されている。
本研究では,整数部分モジュラ函数に対する連続DR-部分モジュラ拡張を提案する。
整数部分モジュラー関数によって定義される新しい確率モデルを定式化する。
論文 参考訳(メタデータ) (2020-06-01T22:20:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。