論文の概要: On the Importance of Gaussianizing Representations

• arxiv url: http://arxiv.org/abs/2505.00685v1
• Date: Thu, 01 May 2025 17:47:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.389698
• Title: On the Importance of Gaussianizing Representations
• Title（参考訳）: ガウス表現の重要性について
• Authors: Daniel Eftekhari, Vardan Papyan,
• Abstract要約: 本稿では、パワー変換を用いてニューラルネットワークの特徴表現の正規性を奨励し、トレーニング中に付加的なガウス雑音を用いる新しい正規化層を提案する。 本実験は,広く使用されているモデルとデータセットの組み合わせの配列上での一般化性能について,正規性正規化の有効性を実証する。
• 参考スコア（独自算出の注目度）: 3.6919724596215615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The normal distribution plays a central role in information theory - it is at the same time the best-case signal and worst-case noise distribution, has the greatest representational capacity of any distribution, and offers an equivalence between uncorrelatedness and independence for joint distributions. Accounting for the mean and variance of activations throughout the layers of deep neural networks has had a significant effect on facilitating their effective training, but seldom has a prescription for precisely what distribution these activations should take, and how this might be achieved, been offered. Motivated by the information-theoretic properties of the normal distribution, we address this question and concurrently present normality normalization: a novel normalization layer which encourages normality in the feature representations of neural networks using the power transform and employs additive Gaussian noise during training. Our experiments comprehensively demonstrate the effectiveness of normality normalization, in regards to its generalization performance on an array of widely used model and dataset combinations, its strong performance across various common factors of variation such as model width, depth, and training minibatch size, its suitability for usage wherever existing normalization layers are conventionally used, and as a means to improving model robustness to random perturbations.
• Abstract（参考訳）: 正規分布は情報理論において中心的な役割を果たす - 最高のケース信号と最悪のケース雑音分布であり、任意の分布の最大表現能力を持ち、結合分布に対する非相関性と独立性の等価性を提供する。 ディープニューラルネットワークの層全体でのアクティベーションの平均とばらつきは、彼らの効果的なトレーニングを促進する上で大きな影響を与えてきたが、これらのアクティベーションがどの分布を取るべきか、どのように達成されるか、正確に決められることはめったにない。 ニューラルネットの特徴表現における正規性を促進する新しい正規化層は、パワー変換を用い、トレーニング中に付加的なガウス雑音を用いる。 実験では, モデル幅, 深度, 訓練用ミニバッチサイズ, 既存の正規化層を用いた場合の使い勝手, ランダムな摂動に対するモデルロバスト性の向上など, モデル幅, モデル幅, トレーニング用ミニバッチサイズなど, 様々な共通要因にまたがって, モデルの一般化性能を総合的に示すとともに, モデルロバスト性の向上を図る。

関連論文リスト

• On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing [12.845681770287005]
  重み共有、同変、局所フィルタは、ニューラルネットワークのサンプル効率に寄与していると考えられている。 局所性には一般化の利点があることが示されるが、不確実性原理は局所性と表現性の間のトレードオフを意味する。
  論文  参考訳（メタデータ） (2024-11-21T16:36:01Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Unsupervised Adaptive Normalization [0.07499722271664146]
  Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
  論文  参考訳（メタデータ） (2024-09-07T08:14:11Z)
• GLAD: Towards Better Reconstruction with Global and Local Adaptive Diffusion Models for Unsupervised Anomaly Detection [60.78684630040313]
  拡散モデルは、特定のノイズを付加したテスト画像の通常の画像を再構成する傾向がある。 世界的視点から見ると、異なる異常による画像再構成の難しさは不均一である。 本稿では,非教師付き異常検出のためのグローバルかつ局所的な適応拡散モデル(GLADと略す)を提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:27:23Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Bayesian Renormalization [68.8204255655161]
  ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。 ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。 本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
  論文  参考訳（メタデータ） (2023-05-17T18:00:28Z)
• Normalizing Flow with Variational Latent Representation [20.038183566389794]
  正規化フロー(NF)の実用性能を向上させるため,変分潜在表現に基づく新しいフレームワークを提案する。 この考え方は、標準正規潜在変数をより一般的な潜在変数に置き換えることであり、変分ベイズを通して共同で学習される。 得られた手法は,複数のモードでデータ分布を生成する標準的な正規化フローアプローチよりもはるかに強力である。
  論文  参考訳（メタデータ） (2022-11-21T16:51:49Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Eccentric Regularization: Minimizing Hyperspherical Energy without explicit projection [0.913755431537592]
  アイテム間の一対の反発力をシミュレートする新しい正規化損失関数を紹介します。 この損失関数を分離して最小化すると超球面分布が得られることを示す。 本稿では,この偏心正規化手法をオートエンコーダに適用し,画像生成,表現学習,下流分類タスクにおいてその効果を示す。
  論文  参考訳（メタデータ） (2021-04-23T13:55:17Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。