論文の概要: WeightAlign: Normalizing Activations by Weight Alignment

• arxiv url: http://arxiv.org/abs/2010.07160v1
• Date: Wed, 14 Oct 2020 15:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 13:47:39.528341
• Title: WeightAlign: Normalizing Activations by Weight Alignment
• Title（参考訳）: weightalign: 重量アライメントによる活性化の正規化
• Authors: Xiangwei Shi, Yunqiang Li, Xin Liu, Jan van Gemert
• Abstract要約: バッチ正規化(BN)は、ミニバッチサンプル統計によってアクティベーションを正規化することで、非常に深いネットワークを訓練することができる。 このような方法はBNよりも安定ではないが、これは単一の入力サンプルの統計に依存するためである。 WeightAlign: フィルタ内で計算された平均およびスケールされた標準導出によって重みを正規化する手法で、サンプル統計を計算せずに活性化を正規化する。
• 参考スコア（独自算出の注目度）: 16.85286948260155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch normalization (BN) allows training very deep networks by normalizing activations by mini-batch sample statistics which renders BN unstable for small batch sizes. Current small-batch solutions such as Instance Norm, Layer Norm, and Group Norm use channel statistics which can be computed even for a single sample. Such methods are less stable than BN as they critically depend on the statistics of a single input sample. To address this problem, we propose a normalization of activation without sample statistics. We present WeightAlign: a method that normalizes the weights by the mean and scaled standard derivation computed within a filter, which normalizes activations without computing any sample statistics. Our proposed method is independent of batch size and stable over a wide range of batch sizes. Because weight statistics are orthogonal to sample statistics, we can directly combine WeightAlign with any method for activation normalization. We experimentally demonstrate these benefits for classification on CIFAR-10, CIFAR-100, ImageNet, for semantic segmentation on PASCAL VOC 2012 and for domain adaptation on Office-31.
• Abstract（参考訳）: バッチ正規化(BN)は、小さなバッチサイズでBNを不安定にするミニバッチサンプル統計により、アクティベーションを正規化することで、非常に深いネットワークのトレーニングを可能にする。 インスタンスノルム、レイヤノルム、グループノルムといった現在の小さなバッチソリューションでは、単一のサンプルでも計算可能なチャネル統計が使用されている。 このような方法はBNよりも安定ではないが、これは単一の入力サンプルの統計に依存するためである。 この問題に対処するため,サンプル統計を使わずにアクティベーションの正規化を提案する。 WeightAlign: フィルタ内で計算された平均およびスケールされた標準導出によって重みを正規化する手法で、サンプル統計を計算せずに活性化を正規化する。 提案手法はバッチサイズに依存しず,幅広いバッチサイズに対して安定である。 重み統計は標本統計に直交するので、WeightAlignと任意の活性化正規化法を直接組み合わせることができる。 CIFAR-10, CIFAR-100, ImageNet, PASCAL VOC 2012のセマンティックセグメンテーション, Office-31のドメイン適応に対するこれらの利点を実験的に実証した。

関連論文リスト

• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Un-Mixing Test-Time Normalization Statistics: Combatting Label Temporal Correlation [11.743315123714108]
  本稿では,Un-Mixing Test-Time Normalization Statistics (UnMix-TNS)と呼ばれる新しい手法を提案する。 本手法は,複数の異なる統計成分を混合することにより,テストバッチ内の各インスタンスの統計を校正する。 この結果は,UnMix-TNSの安定性と性能を,様々なベンチマークで著しく向上させる能力を強調した。
  論文  参考訳（メタデータ） (2024-01-16T12:48:52Z)
• TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation [28.63285970880039]
  最近の試験時間適応法は, 逐次バッチ正規化(TBN)に大きく依存している テストバッチ統計を利用するTBNを採用することで、ドメインシフトによるパフォーマンス劣化が軽減される。 本稿では,各BN層のドメインシフト感度に応じて,CBNとTBNの重要度を調整し,統計を補間する新しいテスト時正規化法を提案する。
  論文  参考訳（メタデータ） (2023-02-10T10:25:29Z)
• Batch Layer Normalization, A new normalization layer for CNNs and RNN [0.0]
  本研究では, Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入する。 バッチとレイヤの正規化の組み合わせとして、BLNはミニバッチの逆サイズに基づいて、最小バッチと特徴正規化を適切に重み付けする。 実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。
  論文  参考訳（メタデータ） (2022-09-19T10:12:51Z)
• BR-SNIS: Bias Reduced Self-Normalized Importance Sampling [11.150337082767862]
  重要サンプリング(Importance Smpling、IS)とは、提案分布と関連する重要度から独立したサンプルを用いて、目標分布下での期待を近似する手法である。 本稿では,SNISの複雑さが本質的に同じであり,分散を増大させることなくバイアスを大幅に低減するBR-SNISを提案する。 提案アルゴリズムには、新しいバイアス、分散、高確率境界を含む厳密な理論的結果を与える。
  論文  参考訳（メタデータ） (2022-07-13T17:14:10Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。