論文の概要: Breaking Time Invariance: Assorted-Time Normalization for RNNs

• arxiv url: http://arxiv.org/abs/2209.14439v1
• Date: Wed, 28 Sep 2022 21:51:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 17:28:32.710001
• Title: Breaking Time Invariance: Assorted-Time Normalization for RNNs
• Title（参考訳）: 時間不変性を破る:RNNの時間正規化
• Authors: Cole Pospisil, Vasily Zadorozhnyy, Qiang Ye
• Abstract要約: Assorted-Time Normalization (ATN) と呼ばれる正規化手法を提案する。 ATNは、複数の連続する時間ステップから情報を保存し、それらを使用して正規化する。 ATNをLNに適用した実験では,様々なタスクにおいて一貫した改善が示された。
• 参考スコア（独自算出の注目度）: 5.229616140749998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Methods such as Layer Normalization (LN) and Batch Normalization (BN) have proven to be effective in improving the training of Recurrent Neural Networks (RNNs). However, existing methods normalize using only the instantaneous information at one particular time step, and the result of the normalization is a preactivation state with a time-independent distribution. This implementation fails to account for certain temporal differences inherent in the inputs and the architecture of RNNs. Since these networks share weights across time steps, it may also be desirable to account for the connections between time steps in the normalization scheme. In this paper, we propose a normalization method called Assorted-Time Normalization (ATN), which preserves information from multiple consecutive time steps and normalizes using them. This setup allows us to introduce longer time dependencies into the traditional normalization methods without introducing any new trainable parameters. We present theoretical derivations for the gradient propagation and prove the weight scaling invariance property. Our experiments applying ATN to LN demonstrate consistent improvement on various tasks, such as Adding, Copying, and Denoise Problems and Language Modeling Problems.
• Abstract（参考訳）: 階層正規化(LN)やバッチ正規化(BN)のような手法は、リカレントニューラルネットワーク(RNN)のトレーニングを改善するのに有効であることが証明されている。 しかし、既存の方法は、ある特定の時間ステップで瞬時情報のみを使用して正規化し、正規化の結果は、時間に依存しない分布を持つ事前活性化状態である。 この実装は、RNNの入力とアーキテクチャに固有の時間差を考慮できない。 これらのネットワークは時間ステップ間で重みを共有しているため、正規化方式における時間ステップ間の接続を考慮することも望ましい。 本稿では,複数の連続時間ステップから情報を保存し,それを用いて正規化を行うassorted-time normalization(atn)と呼ばれる正規化手法を提案する。 このセットアップにより、新しいトレーニング可能なパラメータを導入することなく、従来の正規化メソッドに長い時間依存を導入することができます。 本稿では,勾配伝播の理論的導出を行い,重量スケーリング不変性を証明する。 ATN を LN に適用した実験では,追加,コピー,デノイズ問題,言語モデリング問題など,様々なタスクにおいて一貫した改善が示された。

関連論文リスト

• Enhancing Neural Network Representations with Prior Knowledge-Based Normalization [0.07499722271664146]
  我々は、ニューラルネットワーク表現を改善するために事前知識を活用するマルチモード正規化の新しいアプローチを導入する。 本手法は,画像分類,領域適応,画像生成において,タスク間のコンバージェンスや性能に優れることを示す。
  論文  参考訳（メタデータ） (2024-03-25T14:17:38Z)
• State Derivative Normalization for Continuous-Time Deep Neural Networks [3.19246787432138]
  本稿では,これら3つの正規化タスクが本質的に結合していることを示す。 状態微分レベルで正規化定数を導入することにより,3つの正規化問題に対する解を提案する。
  論文  参考訳（メタデータ） (2024-01-05T17:04:33Z)
• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• Time Regularization in Optimal Time Variable Learning [0.4490343701046724]
  近年、arXiv:2204.08528では、ディープニューラルネットワーク(DNN)における最適時変学習が導入されている。 離散力学系における時間的地平線に直接関係する正規化項を導入することにより、この概念を拡張する。 本稿では,Residual Neural Networks(ResNets)に対する適応型プルーニング手法を提案する。 提案した概念を、よく知られたMNISTとFashion MNISTデータセットの分類タスクに適用することによって、その結果が示される。
  論文  参考訳（メタデータ） (2023-06-28T11:27:48Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。