論文の概要: Kernel Normalized Convolutional Networks

• arxiv url: http://arxiv.org/abs/2205.10089v4
• Date: Mon, 4 Mar 2024 19:35:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 04:29:58.566880
• Title: Kernel Normalized Convolutional Networks
• Title（参考訳）: カーネル正規化畳み込みネットワーク
• Authors: Reza Nasirigerdeh, Reihaneh Torkzadehmahani, Daniel Rueckert, Georgios Kaissis
• Abstract要約: しかし、BatchNormは小さなバッチサイズではパフォーマンスが悪く、差分プライバシーには適用できない。 我々はカーネルノームとカーネル正規化畳み込み層を提案し、カーネル正規化畳み込みネットワーク(KNConvNets)に組み込む。 KNConvNetsは、画像分類とセマンティックセグメンテーションにおいて、BatchNormのそれよりも高い、あるいは競合的なパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 15.997774467236352
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Existing convolutional neural network architectures frequently rely upon batch normalization (BatchNorm) to effectively train the model. BatchNorm, however, performs poorly with small batch sizes, and is inapplicable to differential privacy. To address these limitations, we propose the kernel normalization (KernelNorm) and kernel normalized convolutional layers, and incorporate them into kernel normalized convolutional networks (KNConvNets) as the main building blocks. We implement KNConvNets corresponding to the state-of-the-art ResNets while forgoing the BatchNorm layers. Through extensive experiments, we illustrate that KNConvNets achieve higher or competitive performance compared to the BatchNorm counterparts in image classification and semantic segmentation. They also significantly outperform their batch-independent competitors including those based on layer and group normalization in non-private and differentially private training. Given that, KernelNorm combines the batch-independence property of layer and group normalization with the performance advantage of BatchNorm.
• Abstract（参考訳）: 既存の畳み込みニューラルネットワークアーキテクチャは、モデルを効果的にトレーニングするためにバッチ正規化(BatchNorm)に依存することが多い。 しかし、BatchNormは小さなバッチサイズではパフォーマンスが悪く、差分プライバシーには適用できない。 これらの制限に対処するために、カーネル正規化(kernelnorm)とカーネル正規化畳み込み層を提案し、それらをカーネル正規化畳み込みネットワーク(knconvnets)にメインビルディングブロックとして組み込む。 我々は、BatchNormレイヤを転送しながら、最先端のResNetに対応するKNConvNetを実装します。 画像分類やセマンティクスセグメンテーションにおいて,knconvnetsはバッチノルムに比べて高い性能や競合性能を達成していることを示す。 また、非プライベートおよび差分プライベートトレーニングにおけるレイヤベースやグループ正規化など、バッチ非依存の競合相手を著しく上回っている。 これを踏まえると、KernelNormは、レイヤのバッチ独立性とグループ正規化と、BatchNormのパフォーマンス上の利点を組み合わせたものだ。

関連論文リスト

• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• An Empirical Analysis of the Shift and Scale Parameters in BatchNorm [3.198144010381572]
  Batch Normalization(BatchNorm)は、ディープニューラルネットワークのトレーニングを改善するテクニックである。 本稿では,正規化段階におけるBatchNormの成功に対する相対的貢献について検討する。
  論文  参考訳（メタデータ） (2023-03-22T12:41:12Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Kernel Normalized Convolutional Networks for Privacy-Preserving Machine Learning [7.384030323608299]
  本稿では,レイヤ正規化(LayerNorm),グループ正規化(GroupNorm),最近提案されたカーネル正規化(KernelNorm)をFLおよびDP設定で比較する。 LayerNormとGroupNormは、浅いモデルのベースライン(すなわち正規化なし)と比べてパフォーマンスが向上しないが、より深いモデルの性能を大幅に向上させる。 一方、KernelNormは、浅層モデルと深層モデルの両方において、精度と収束率(または通信効率)という点で、競合他社を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-30T19:33:53Z)
• Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph [73.68184322526338]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルの集合から最適な情報融合を実現するためにコミットされる。 本稿では,新しい局所サンプル重み付きマルチカーネルクラスタリングモデルを提案する。 実験により, LSWMKCはより優れた局所多様体表現を有し, 既存のカーネルやグラフベースのクラスタリングアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2022-07-05T05:00:38Z)
• Properties of the After Kernel [11.4219428942199]
  ニューラル・タンジェント・カーネル(英: Neural Tangent Kernel、NTK)は、ニューラルネットワークを用いて定義されたカーネルの広いネットワーク限界である。 我々は、標準的なアーキテクチャを持つニューラルネットワークに対して、トレーニング後を除いて同じ埋め込みを用いて定義される「アフターカーネル」について研究する。
  論文  参考訳（メタデータ） (2021-05-21T21:50:18Z)
• Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training [44.66478612082257]
  現代畳み込みニューラルネットワーク(convnets)では正規化技術が基本成分となっている フーリエ領域における畳み込み構造を完全に活用できるシンプルで効率的な畳み込み正規化法を導入する。 畳み込み正規化は、重み行列の層単位でのスペクトルノルムを減少させ、ネットワークのリプシッツ性を改善することができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T00:33:04Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)
• Separating the Effects of Batch Normalization on CNN Training Speed and Stability Using Classical Adaptive Filter Theory [40.55789598448379]
  バッチ正規化(BatchNorm)は、トレーニング速度と安定性を改善するために、畳み込みニューラルネットワーク(CNN)で一般的に使用される。 本稿では、従来の適応フィルタ領域の概念を用いて、BatchNormの動的および内部動作に関する洞察を提供する。
  論文  参考訳（メタデータ） (2020-02-25T05:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。