論文の概要: An Internal Covariate Shift Bounding Algorithm for Deep Neural Networks by Unitizing Layers' Outputs

• arxiv url: http://arxiv.org/abs/2001.02814v1
• Date: Thu, 9 Jan 2020 02:35:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 04:12:52.452142
• Title: An Internal Covariate Shift Bounding Algorithm for Deep Neural Networks by Unitizing Layers' Outputs
• Title（参考訳）: 層出力の一元化によるディープニューラルネットワークの内部共変シフト境界アルゴリズム
• Authors: You Huang, Yuanlong Yu
• Abstract要約: バッチ正規化(BN)技術は、いわゆる内部共変量シフト(ICS)を減らすために提案されている。 本稿では,地球モーバー距離を用いてICSの測度を提案し,その測度に対して上下境界を導出する。 上界は、BN技術がICSを制御できるのは、低次元の出力と小さなノイズのみであるが、他の場合ではその制御は有効ではないことを示している。 本稿では、BNの問題に対処するため、ISCに調整可能なパラメータで出力を統一するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 9.738022170386339
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch Normalization (BN) techniques have been proposed to reduce the so-called Internal Covariate Shift (ICS) by attempting to keep the distributions of layer outputs unchanged. Experiments have shown their effectiveness on training deep neural networks. However, since only the first two moments are controlled in these BN techniques, it seems that a weak constraint is imposed on layer distributions and furthermore whether such constraint can reduce ICS is unknown. Thus this paper proposes a measure for ICS by using the Earth Mover (EM) distance and then derives the upper and lower bounds for the measure to provide a theoretical analysis of BN. The upper bound has shown that BN techniques can control ICS only for the outputs with low dimensions and small noise whereas their control is NOT effective in other cases. This paper also proves that such control is just a bounding of ICS rather than a reduction of ICS. Meanwhile, the analysis shows that the high-order moments and noise, which BN cannot control, have great impact on the lower bound. Based on such analysis, this paper furthermore proposes an algorithm that unitizes the outputs with an adjustable parameter to further bound ICS in order to cope with the problems of BN. The upper bound for the proposed unitization is noise-free and only dominated by the parameter. Thus, the parameter can be trained to tune the bound and further to control ICS. Besides, the unitization is embedded into the framework of BN to reduce the information loss. The experiments show that this proposed algorithm outperforms existing BN techniques on CIFAR-10, CIFAR-100 and ImageNet datasets.
• Abstract（参考訳）: バッチ正規化(BN)技術は、内部共変量シフト(ICS)と呼ばれる層出力の分布を一定に保とうとする手法として提案されている。 ディープニューラルネットワークのトレーニングにおける効果が実証されている。 しかし、このBN手法では、最初の2つのモーメントのみが制御されるため、層分布に弱い制約が課せられ、さらにICSを低減できるかどうかも不明である。 そこで本稿では,地球モーバー距離を用いてICSの測度を提案し,その上と下の境界を導出し,BNの理論的解析を行う。 上界は、BN技術がICSを制御できるのは低次元の出力と小さなノイズのみであるが、他の場合ではその制御は有効ではないことを示している。 また、この制御はICSの低減というよりはICSの境界に過ぎないことも証明した。 一方、bnが制御できない高次モーメントとノイズは、下界に大きな影響を与えることが示された。 そこで本研究では, BN の問題に対処するため, ICS に調整可能なパラメータで出力を統一するアルゴリズムを提案する。 提案したユニタリゼーションの上限はノイズフリーであり、パラメータのみに支配される。 これにより、パラメータをトレーニングして境界を調整し、さらにICSを制御することができる。 さらに、情報損失を低減するため、単位化をBNのフレームワークに組み込む。 実験の結果,提案アルゴリズムはCIFAR-10, CIFAR-100, ImageNetデータセット上で既存のBN技術よりも優れていた。

関連論文リスト

• BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning [2.563180814294141]
  機械学習(ML)モデルを分散的にトレーニングするための学習パラダイムとして、フェデレートラーニング(FL)が注目を集めている。 バッチ正規化(BN)はディープニューラルネットワーク(DNN)においてユビキタスである BNは異種FLにおけるDNNの性能を阻害すると報告されている。 BN-DNN設定における分散還元アルゴリズムの収束を解析するための統一理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:53:20Z)
• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Arithmetic-Intensity-Guided Fault Tolerance for Neural Network Inference on GPUs [1.6752182911522517]
  ニューラルネットワーク(NN)は、科学計算や安全クリティカルシステムなどの高い信頼性を必要とする領域でますます採用されています。 最近の研究が示すように、NN推論の欠陥は誤予測や安全性の危険をもたらす可能性があるため、NN推論にフォールトトレランスを付与することが重要である。 アルゴリズムに基づく耐障害性 (ABFT) は, NNにおける効率的な耐障害性に対する魅力的なアプローチとして浮上している。
  論文  参考訳（メタデータ） (2021-04-19T17:13:04Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch [5.511606249429581]
  ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。 スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。 本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T00:49:30Z)
• How Does BN Increase Collapsed Neural Network Filters? [34.886702335022015]
  フィルタ崩壊は、バッチ正規化(BN)と修正線形活性化関数(ReLU、Leaky ReLUなど)を持つディープニューラルネットワーク(DNN)でよく見られる。 本稿では, BN と同一の表現能力を持つポストシフト後の BN (psBN) を, トレーニング中に飽和した BN パラメータを再度トレーニングできる簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-01-30T09:00:08Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。