論文の概要: On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU Networks

• arxiv url: http://arxiv.org/abs/2011.05530v3
• Date: Tue, 15 Jun 2021 05:14:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 01:09:13.585278
• Title: On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU Networks
• Title（参考訳）: プライバシ保存および検証可能なreluネットワークに対する多項式近似について
• Authors: Ramy E. Ali, Jinhyun So, A. Salman Avestimehr
• Abstract要約: 平方函数は、ReLU関数を置き換えることができる2$の最良の次数ではないことを示す。 実験の結果,提案したアクティベーション関数は正方形関数と比較して最大9.4%の精度で精度が向上することがわかった。
• 参考スコア（独自算出の注目度）: 4.297070083645049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outsourcing neural network inference tasks to an untrusted cloud raises data privacy and integrity concerns. To address these challenges, several privacy-preserving and verifiable inference techniques have been proposed based on replacing the non-polynomial activation functions such as the rectified linear unit (ReLU) function with polynomial activation functions. Such techniques usually require polynomials with integer coefficients or polynomials over finite fields. Motivated by such requirements, several works proposed replacing the ReLU activation function with the square activation function. In this work, we empirically show that the square function is not the best degree-$2$ polynomial that can replace the ReLU function even when restricting the polynomials to have integer coefficients. We instead propose a degree-$2$ polynomial activation function with a first order term and empirically show that it can lead to much better models. Our experiments on the CIFAR-$10$ and CIFAR-$100$ datasets on various architectures show that our proposed activation function improves the test accuracy by up to $9.4\%$ compared to the square function.
• Abstract（参考訳）: ニューラルネットワーク推論タスクを信頼できないクラウドにアウトソーシングすることは、データのプライバシと整合性に関する懸念を引き起こす。 これらの課題に対処するため、正則線形単位(ReLU)関数を多項式活性化関数に置き換えることで、プライバシー保護および検証可能な推論手法が提案されている。 そのような手法は通常、整数係数を持つ多項式や有限体上の多項式を必要とする。 このような要求により、ReLUアクティベーション関数を2乗アクティベーション関数に置き換えるいくつかの研究が提案された。 本研究では,多項式を整数係数に制限してもルル関数を置換できる次数2$の多項式は平方関数が最良ではないことを実証的に示す。 代わりに、次数 2$ の多項式活性化関数を1次項で提案し、より優れたモデルが得られることを実証的に示す。 様々なアーキテクチャ上のcifar-$10$およびcifar-$100$データセットに関する実験により、提案する活性化関数は平方関数と比較して最大9.4\%$でテスト精度が向上することが示された。

関連論文リスト

• Polynomial-Augmented Neural Networks (PANNs) with Weak Orthogonality Constraints for Enhanced Function and PDE Approximation [22.689531776611084]
  現在拡張されたニューラルネットワーク(PANN) 本稿では、ディープニューラルネットワーク(DNN)と近似を組み合わせた新しい機械学習アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:06:15Z)
• Exploring the Potential of Polynomial Basis Functions in Kolmogorov-Arnold Networks: A Comparative Study of Different Groups of Polynomials [0.0]
  本稿では,ゴットリーブモゴロフネットワーク(KAN)モデルにおける18の異なる特徴とその潜在的な応用について述べる。 本研究は,手書き桁分類などの複雑なタスクに対するkanモデルにおける基本関数としての theseDistincts の適合性を検討することを目的とする。 総合的精度,Kappa,F1スコアを含むkanモデルの性能指標を評価し,比較した。
  論文  参考訳（メタデータ） (2024-05-30T20:40:16Z)
• A Simple Solution for Homomorphic Evaluation on Large Intervals [0.0]
  ホモモルフィック暗号化(HE)は、プライバシー保護計算に使用される有望な手法である。 非ポリノミカル関数の近似の同型評価は、プライバシ保存機械学習において重要な役割を果たす。 我々は,任意の関数を近似する簡単な解を導入する。
  論文  参考訳（メタデータ） (2024-05-24T04:13:22Z)
• Neural Fields with Thermal Activations for Arbitrary-Scale Super-Resolution [56.089473862929886]
  本稿では,適応型ガウスPSFを用いて点を問合せできる新しい設計手法を提案する。 理論的に保証されたアンチエイリアスにより、任意のスケールの単一画像の超解像のための新しい手法が確立される。
  論文  参考訳（メタデータ） (2023-11-29T14:01:28Z)
• Piecewise Polynomial Regression of Tame Functions via Integer Programming [2.2499166814992435]
  我々は,tame関数,すべての共通活性化をもつ非平滑関数,混合整数プログラムの値関数,小分子の波動関数を考える。
  論文  参考訳（メタデータ） (2023-11-22T17:37:42Z)
• Regularization of polynomial networks for image recognition [78.4786845859205]
  PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。 6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
  論文  参考訳（メタデータ） (2023-03-24T10:05:22Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations in Privacy-Preserving Deep Learning [2.5677092608889773]
  クライアントサーバ機械学習におけるプライバシの懸念により、プライベート推論(PI)が生まれ、そこでは、ニューラルネットワークが暗号化された入力に直接発生する。 深いプライバシーに配慮したニューラルネットワークを構築するために、すべてのReLUを低度の帯域幅のアクティベーション機能に置き換えることは可能か? ReLUをPIに置換する際の課題を解析し、簡単なドロップ・アンド・リプレース・ソリューションから始まり、より複雑な置換・アンド・リトレイン戦略を考察する。
  論文  参考訳（メタデータ） (2021-07-26T17:33:56Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Computational Barriers to Estimation from Low-Degree Polynomials [81.67886161671379]
  本研究では,隠れ構造物の存在を検知する作業において,低次構造物のパワーについて検討する。 大規模な「信号+雑音」問題に対して、任意の程度に達成可能な最良の平均二乗誤差に対して、ユーザフレンドリな下界を与える。 応用として,植込みサブマトリクスに対する低次平均2乗誤差の厳密な評価と高密度サブグラフ問題について述べる。
  論文  参考訳（メタデータ） (2020-08-05T17:52:10Z)
• From Sets to Multisets: Provable Variational Inference for Probabilistic Integer Submodular Models [82.95892656532696]
  サブモジュール関数は機械学習やデータマイニングにおいて広く研究されている。 本研究では,整数部分モジュラ函数に対する連続DR-部分モジュラ拡張を提案する。 整数部分モジュラー関数によって定義される新しい確率モデルを定式化する。
  論文  参考訳（メタデータ） (2020-06-01T22:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。