論文の概要: Context Normalization for Robust Image Classification
- arxiv url: http://arxiv.org/abs/2303.07651v1
- Date: Tue, 14 Mar 2023 06:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 16:17:26.934087
- Title: Context Normalization for Robust Image Classification
- Title(参考訳): ロバスト画像分類のための文脈正規化
- Authors: Bilal Faye, Mohamed-Djallel Dilmi, Hanane Azzag, Mustapha Lebbah,
Fangchen Feng
- Abstract要約: 本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。
各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。
文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
- 参考スコア(独自算出の注目度): 0.41998444721319206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalization is a pre-processing step that converts the data into a more
usable representation. As part of the deep neural networks (DNNs), the batch
normalization (BN) technique uses normalization to address the problem of
internal covariate shift. It can be packaged as general modules, which have
been extensively integrated into various DNNs, to stabilize and accelerate
training, presumably leading to improved generalization. However, the effect of
BN is dependent on the mini-batch size and it does not take into account any
groups or clusters that may exist in the dataset when estimating population
statistics. This study proposes a new normalization technique, called context
normalization, for image data. This approach adjusts the scaling of features
based on the characteristics of each sample, which improves the model's
convergence speed and performance by adapting the data values to the context of
the target task. The effectiveness of context normalization is demonstrated on
various datasets, and its performance is compared to other standard
normalization techniques.
- Abstract(参考訳): 正規化は、データをより使いやすい表現に変換する前処理ステップである。
ディープニューラルネットワーク(DNN)の一部として、バッチ正規化(BN)技術は、内部共変量シフトの問題に対処するために正規化を使用する。
様々なDNNに広く統合されている汎用モジュールとしてパッケージ化して、トレーニングの安定化と高速化を実現している。
しかし、BNの効果はミニバッチサイズに依存しており、人口統計を推定する際にデータセットに存在する可能性のあるグループやクラスタを考慮に入れない。
本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。
このアプローチでは,各サンプルの特性に基づいて特徴量のスケーリングを調整し,対象タスクのコンテキストにデータ値を適用することにより,モデルの収束速度と性能を向上させる。
文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
関連論文リスト
- Supervised Batch Normalization [0.08192907805418585]
バッチ正規化(BN)はニューラルネットワークで広く使われている手法である。
本稿では,先駆的アプローチであるSupervised Batch Normalization (SBN)を提案する。
我々はコンテキストをモードとして定義し、類似した特徴を持つデータを分類する。
論文 参考訳(メタデータ) (2024-05-27T10:30:21Z) - BCN: Batch Channel Normalization for Image Classification [13.262032378453073]
本稿では,Batch Channel Normalization (BCN) と呼ばれる新しい正規化手法を提案する。
基本的なブロックとして、BCNはコンピュータビジョンの分野で様々な用途のために既存のモデルに容易に統合できる。
論文 参考訳(メタデータ) (2023-12-01T14:01:48Z) - Breaking Time Invariance: Assorted-Time Normalization for RNNs [5.229616140749998]
Assorted-Time Normalization (ATN) と呼ばれる正規化手法を提案する。
ATNは、複数の連続する時間ステップから情報を保存し、それらを使用して正規化する。
ATNをLNに適用した実験では,様々なタスクにおいて一貫した改善が示された。
論文 参考訳(メタデータ) (2022-09-28T21:51:13Z) - Batch Layer Normalization, A new normalization layer for CNNs and RNN [0.0]
本研究では, Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入する。
バッチとレイヤの正規化の組み合わせとして、BLNはミニバッチの逆サイズに基づいて、最小バッチと特徴正規化を適切に重み付けする。
実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。
論文 参考訳(メタデータ) (2022-09-19T10:12:51Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳(メタデータ) (2022-02-08T16:16:11Z) - Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。
バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。
また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文 参考訳(メタデータ) (2021-10-06T08:45:03Z) - Metadata Normalization [54.43363251520749]
バッチ正規化(bn)は、バッチ統計の標準化によって特徴分布を正規化する。
BNは外部変数や複数の分布からの影響を補正していない。
トレーニングフレームワーク内でエンドツーエンドで使用できる新しいバッチレベルのオペレーションであるMetadata Normalizationレイヤを紹介します。
論文 参考訳(メタデータ) (2021-04-19T05:10:26Z) - Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。
より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。
関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
論文 参考訳(メタデータ) (2020-10-10T08:48:41Z) - Correct Normalization Matters: Understanding the Effect of Normalization
On Deep Neural Network Models For Click-Through Rate Prediction [3.201333208812837]
本研究では,LayerNormをベースとした新しい効果的な正規化手法を提案する。
正規化の分散が主な役割を担い、本研究に説明を与える。
論文 参考訳(メタデータ) (2020-06-23T04:35:22Z) - Optimization Theory for ReLU Neural Networks Trained with Normalization
Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。
我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文 参考訳(メタデータ) (2020-06-11T23:55:54Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳(メタデータ) (2020-04-14T07:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。