論文の概要: Kernel Normalized Convolutional Networks for Privacy-Preserving Machine Learning

• arxiv url: http://arxiv.org/abs/2210.00053v1
• Date: Fri, 30 Sep 2022 19:33:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 17:10:38.310242
• Title: Kernel Normalized Convolutional Networks for Privacy-Preserving Machine Learning
• Title（参考訳）: プライバシ保存機械学習のためのカーネル正規化畳み込みネットワーク
• Authors: Reza Nasirigerdeh, Javad Torkzadehmahani, Daniel Rueckert, Georgios Kaissis
• Abstract要約: 本稿では,レイヤ正規化(LayerNorm),グループ正規化(GroupNorm),最近提案されたカーネル正規化(KernelNorm)をFLおよびDP設定で比較する。 LayerNormとGroupNormは、浅いモデルのベースライン(すなわち正規化なし)と比べてパフォーマンスが向上しないが、より深いモデルの性能を大幅に向上させる。 一方、KernelNormは、浅層モデルと深層モデルの両方において、精度と収束率(または通信効率)という点で、競合他社を著しく上回っている。
• 参考スコア（独自算出の注目度）: 7.384030323608299
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Normalization is an important but understudied challenge in privacy-related application domains such as federated learning (FL) and differential privacy (DP). While the unsuitability of batch normalization for FL and DP has already been shown, the impact of the other normalization methods on the performance of federated or differentially private models is not well-known. To address this, we draw a performance comparison among layer normalization (LayerNorm), group normalization (GroupNorm), and the recently proposed kernel normalization (KernelNorm) in FL and DP settings. Our results indicate LayerNorm and GroupNorm provide no performance gain compared to the baseline (i.e. no normalization) for shallow models, but they considerably enhance performance of deeper models. KernelNorm, on the other hand, significantly outperforms its competitors in terms of accuracy and convergence rate (or communication efficiency) for both shallow and deeper models. Given these key observations, we propose a kernel normalized ResNet architecture called KNResNet-13 for differentially private learning environments. Using the proposed architecture, we provide new state-of-the-art accuracy values on the CIFAR-10 and Imagenette datasets.
• Abstract（参考訳）: 正規化は、フェデレートラーニング(FL)やディファレンシャルプライバシ(DP)といった、プライバシ関連のアプリケーションドメインにおいて重要な課題である。 fl と dp のバッチ正規化の不適合性はすでに示されているが、他の正規化手法がフェデレートモデルや微分プライベートモデルの性能に与える影響は知られていない。 そこで本研究では,レイヤ正規化(LayerNorm),グループ正規化(GroupNorm),最近提案されたカーネル正規化(KernelNorm)の性能比較を行った。 以上の結果から,LayerNormとGroupNormは浅層モデルのベースライン(正規化なし)に比べて性能が向上しないが,より深層モデルの性能は著しく向上することがわかった。 一方、kernelnormは、浅層モデルと深層モデルの両方において、精度と収束率(または通信効率)の点でライバルを著しく上回っている。 そこで本研究では,KNResNet-13と呼ばれるカーネル正規化されたResNetアーキテクチャを提案する。 提案するアーキテクチャを用いて,cifar-10およびimagenetteデータセットに最先端の精度値を提供する。

関連論文リスト

• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Rethinking Normalization Methods in Federated Learning [92.25845185724424]
  フェデレートラーニング(FL)は、プライベートデータを明示的に共有しないことでプライバシーリスクを低減できる人気のある分散ラーニングフレームワークである。 我々は、外部共変量シフトが、世界モデルに対する一部のデバイスからの貢献の消滅につながることを示した。
  論文  参考訳（メタデータ） (2022-10-07T01:32:24Z)
• Kernel Normalized Convolutional Networks [15.997774467236352]
  しかし、BatchNormは小さなバッチサイズではパフォーマンスが悪く、差分プライバシーには適用できない。 我々はカーネルノームとカーネル正規化畳み込み層を提案し、カーネル正規化畳み込みネットワーク(KNConvNets)に組み込む。 KNConvNetsは、画像分類とセマンティックセグメンテーションにおいて、BatchNormのそれよりも高い、あるいは競合的なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-20T11:18:05Z)
• SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
  DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
  論文  参考訳（メタデータ） (2022-05-09T07:51:54Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction [3.201333208812837]
  本研究では,LayerNormをベースとした新しい効果的な正規化手法を提案する。 正規化の分散が主な役割を担い、本研究に説明を与える。
  論文  参考訳（メタデータ） (2020-06-23T04:35:22Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)
• Rethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved MobileNets [6.09170287691728]
  CNNのための高効率なビルディングブロックとして,ブループリント分離型畳み込み(BSConv)を導入する。 それらは、訓練されたモデルからカーネル特性の定量的解析によって動機付けられている。 我々のアプローチは、深く分離可能な畳み込みの適用のために、完全な理論的導出、解釈、正当化を提供する。
  論文  参考訳（メタデータ） (2020-03-30T15:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。