論文の概要: Enhancing Neural Network Representations with Prior Knowledge-Based Normalization

• arxiv url: http://arxiv.org/abs/2403.16798v3
• Date: Wed, 30 Oct 2024 10:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:25:44.143047
• Title: Enhancing Neural Network Representations with Prior Knowledge-Based Normalization
• Title（参考訳）: 事前知識に基づく正規化によるニューラルネットワーク表現の強化
• Authors: Bilal Faye, Hanane Azzag, Mustapha Lebbah, Djamel Bouchaffra,
• Abstract要約: 我々は、ニューラルネットワーク表現を改善するために事前知識を活用するマルチモード正規化の新しいアプローチを導入する。 本手法は,画像分類,領域適応,画像生成において,タスク間のコンバージェンスや性能に優れることを示す。
• 参考スコア（独自算出の注目度）: 0.07499722271664146
• License:
• Abstract: Deep learning models face persistent challenges in training, particularly due to internal covariate shift and label shift. While single-mode normalization methods like Batch Normalization partially address these issues, they are constrained by batch size dependencies and limiting distributional assumptions. Multi-mode normalization techniques mitigate these limitations but struggle with computational demands when handling diverse Gaussian distributions. In this paper, we introduce a new approach to multi-mode normalization that leverages prior knowledge to improve neural network representations. Our method organizes data into predefined structures, or "contexts", prior to training and normalizes based on these contexts, with two variants: Context Normalization (CN) and Context Normalization - Extended (CN-X). When contexts are unavailable, we introduce Adaptive Context Normalization (ACN), which dynamically builds contexts in the latent space during training. Across tasks in image classification, domain adaptation, and image generation, our methods demonstrate superior convergence and performance.
• Abstract（参考訳）: ディープラーニングモデルは、特に内部共変量シフトとラベルシフトによって、トレーニングにおいて永続的な課題に直面します。 バッチ正規化のような単一モード正規化手法はこれらの問題に部分的に対処するが、バッチサイズ依存と分散仮定の制限によって制限される。 マルチモード正規化技術はこれらの制限を緩和するが、多様なガウス分布を扱う際の計算要求に対処する。 本稿では、ニューラルネットワーク表現を改善するために、事前知識を活用するマルチモード正規化の新しいアプローチを提案する。 本手法では, 文脈正規化 (CN) とコンテキスト正規化 (CN-X) の2つの変種を用いて, 事前定義された構造, あるいはこれらの文脈に基づいて正規化を行う。 コンテキストが利用できない場合、トレーニング中に潜在空間でコンテキストを動的に構築するAdaptive Context Normalization (ACN)を導入する。 画像分類,領域適応,画像生成のタスクにおいて,本手法はより優れた収束と性能を示す。

関連論文リスト

• Adaptative Context Normalization: A Boost for Deep Learning in Image Processing [0.07499722271664146]
  Adaptative Context Normalization (ACN)は、"context"の概念を導入した新しい教師付きアプローチである。 ACNはBNやMNと比較して速度、収束、優れた性能を保証する。
  論文  参考訳（メタデータ） (2024-09-07T08:18:10Z)
• Unsupervised Adaptive Normalization [0.07499722271664146]
  Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
  論文  参考訳（メタデータ） (2024-09-07T08:14:11Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Breaking Time Invariance: Assorted-Time Normalization for RNNs [5.229616140749998]
  Assorted-Time Normalization (ATN) と呼ばれる正規化手法を提案する。 ATNは、複数の連続する時間ステップから情報を保存し、それらを使用して正規化する。 ATNをLNに適用した実験では,様々なタスクにおいて一貫した改善が示された。
  論文  参考訳（メタデータ） (2022-09-28T21:51:13Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Normalization Techniques in Training DNNs: Methodology, Analysis and Application [111.82265258916397]
  ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である 本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
  論文  参考訳（メタデータ） (2020-09-27T13:06:52Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。