論文の概要: Adaptative Context Normalization: A Boost for Deep Learning in Image Processing

• arxiv url: http://arxiv.org/abs/2409.04759v1
• Date: Sat, 7 Sep 2024 08:18:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 20:51:37.475971
• Title: Adaptative Context Normalization: A Boost for Deep Learning in Image Processing
• Title（参考訳）: Adaptative Context Normalization: 画像処理におけるディープラーニングの強化
• Authors: Bilal Faye, Hanane Azzag, Mustapha Lebbah, Djamel Bouchaffra,
• Abstract要約: Adaptative Context Normalization (ACN)は、"context"の概念を導入した新しい教師付きアプローチである。 ACNはBNやMNと比較して速度、収束、優れた性能を保証する。
• 参考スコア（独自算出の注目度）: 0.07499722271664146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural network learning for image processing faces major challenges related to changes in distribution across layers, which disrupt model convergence and performance. Activation normalization methods, such as Batch Normalization (BN), have revolutionized this field, but they rely on the simplified assumption that data distribution can be modelled by a single Gaussian distribution. To overcome these limitations, Mixture Normalization (MN) introduced an approach based on a Gaussian Mixture Model (GMM), assuming multiple components to model the data. However, this method entails substantial computational requirements associated with the use of Expectation-Maximization algorithm to estimate parameters of each Gaussian components. To address this issue, we introduce Adaptative Context Normalization (ACN), a novel supervised approach that introduces the concept of "context", which groups together a set of data with similar characteristics. Data belonging to the same context are normalized using the same parameters, enabling local representation based on contexts. For each context, the normalized parameters, as the model weights are learned during the backpropagation phase. ACN not only ensures speed, convergence, and superior performance compared to BN and MN but also presents a fresh perspective that underscores its particular efficacy in the field of image processing.
• Abstract（参考訳）: 画像処理のためのディープニューラルネットワーク学習は、モデル収束とパフォーマンスを阻害する層間の分散の変化に関連する大きな課題に直面している。 バッチ正規化(BN)のような活性化正規化法はこの分野に革命をもたらしたが、単一のガウス分布でデータ分布をモデル化できるという単純な仮定に依存している。 これらの制限を克服するため、混合正規化(MN)はガウス混合モデル(GMM)に基づくアプローチを導入し、データをモデル化するための複数のコンポーネントを仮定した。 しかし,本手法では,各ガウス成分のパラメータを推定するために,期待最大化アルゴリズムを用いて計算処理を行う。 この問題に対処するため,適応文脈正規化(ACN)を導入し,類似した特徴を持つデータの集合をグループ化する「コンテキスト」の概念を導入した。 同じコンテキストに属するデータは、同じパラメータを使って正規化され、コンテキストに基づいたローカル表現が可能になる。 各文脈について、モデルウェイトがバックプロパゲーションフェーズで学習されるように正規化パラメータが学習される。 ACN は BN や MN に比べて速度,収束性,優れた性能を確保できるだけでなく,画像処理の分野においてその有効性を裏付ける新たな視点も示している。

関連論文リスト

• Supervised Batch Normalization [0.08192907805418585]
  バッチ正規化(BN)はニューラルネットワークで広く使われている手法である。 本稿では,先駆的アプローチであるSupervised Batch Normalization (SBN)を提案する。 我々はコンテキストをモードとして定義し、類似した特徴を持つデータを分類する。
  論文  参考訳（メタデータ） (2024-05-27T10:30:21Z)
• Enhancing Neural Network Representations with Prior Knowledge-Based Normalization [0.07499722271664146]
  我々は、ニューラルネットワーク表現を改善するために事前知識を活用するマルチモード正規化の新しいアプローチを導入する。 本手法は,画像分類,領域適応,画像生成において,タスク間のコンバージェンスや性能に優れることを示す。
  論文  参考訳（メタデータ） (2024-03-25T14:17:38Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。