論文の概要: Convolutional Normalization

• arxiv url: http://arxiv.org/abs/2102.09685v1
• Date: Fri, 19 Feb 2021 00:14:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 01:34:04.303104
• Title: Convolutional Normalization
• Title（参考訳）: 畳み込み正規化
• Authors: Massimiliano Esposito, Nader Ganaba
• Abstract要約: 本研究では,重み付き和を用いて,重み付き畳み込みニューラルネットワークを用いて,統計を近似するが和の係数を学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: As the deep neural networks are being applied to complex tasks, the size of the networks and architecture increases and their topology becomes more complicated too. At the same time, training becomes slow and at some instances inefficient. This motivated the introduction of various normalization techniques such as Batch Normalization and Layer Normalization. The aforementioned normalization methods use arithmetic operations to compute an approximation statistics (mainly the first and second moments) of the layer's data and use it to normalize it. The aforementioned methods use plain Monte Carlo method to approximate the statistics and such method fails when approximating the statistics whose distribution is complex. Here, we propose an approach that uses weighted sum, implemented using depth-wise convolutional neural networks, to not only approximate the statistics, but to learn the coefficients of the sum.
• Abstract（参考訳）: ディープニューラルネットワークが複雑なタスクに適用されるにつれて、ネットワークとアーキテクチャのサイズは増加し、そのトポロジもより複雑になります。 同時にトレーニングは遅くなり、インスタンスによっては非効率になる。 これはバッチ正規化やレイヤー正規化といった様々な正規化技術の導入を動機付けている。 上記の正規化法は算術演算を用いて、層のデータの近似統計(主に第1モーメントと第2モーメント)を計算し、それを正規化するために利用する。 上記の方法はプレーンモンテカルロ法を用いて統計を近似しており、分布が複雑である統計を近似するとそのような方法は失敗する。 本稿では,重み付き和を用いて,重み付き畳み込みニューラルネットワークを用いて,統計的に近似するだけでなく,和の係数を学習する手法を提案する。

関連論文リスト

• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Breaking Time Invariance: Assorted-Time Normalization for RNNs [5.229616140749998]
  Assorted-Time Normalization (ATN) と呼ばれる正規化手法を提案する。 ATNは、複数の連続する時間ステップから情報を保存し、それらを使用して正規化する。 ATNをLNに適用した実験では,様々なタスクにおいて一貫した改善が示された。
  論文  参考訳（メタデータ） (2022-09-28T21:51:13Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Depthwise Separable Convolutions Allow for Fast and Memory-Efficient Spectral Normalization [1.1470070927586016]
  奥行き分離可能な畳み込みのスペクトル正規化の非常に単純な方法を提案する。 MobileNetV2 のような標準アーキテクチャを用いた画像分類タスクに対する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-02-12T12:55:42Z)
• Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks [0.0]
  バッチ正規化は、トレーニング中に大きなバッチサイズを使用して最もうまく機能する。 限定バッチサイズニューラルネットワークトレーニング環境におけるインスタンス正規化の有効性を示す。 また,本実験で使用したインスタンス正規化実装は,正規化手法を使わずにネットワークと比較した場合,計算時間を効率よくすることを示した。
  論文  参考訳（メタデータ） (2020-11-23T17:13:24Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。