論文の概要: On the Ideal Number of Groups for Isometric Gradient Propagation

• arxiv url: http://arxiv.org/abs/2302.03193v1
• Date: Tue, 7 Feb 2023 01:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 17:44:22.699890
• Title: On the Ideal Number of Groups for Isometric Gradient Propagation
• Title（参考訳）: 等尺勾配伝播のための群の理想数について
• Authors: Bum Jun Kim, Hyeyeon Choi, Hyeonah Jang, Sang Woo Kim
• Abstract要約: 群正規化は層正規化とインスタンス正規化の一般化である。 本研究では,グループ数を設定するための合理的な手法について論じる。 提案するグループ数は理論的に基礎があり、アーキテクチャを意識しており、すべてのレイヤに対して適切な価値を提供できる。
• 参考スコア（独自算出の注目度）: 7.58745191859815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, various normalization layers have been proposed to stabilize the training of deep neural networks. Among them, group normalization is a generalization of layer normalization and instance normalization by allowing a degree of freedom in the number of groups it uses. However, to determine the optimal number of groups, trial-and-error-based hyperparameter tuning is required, and such experiments are time-consuming. In this study, we discuss a reasonable method for setting the number of groups. First, we find that the number of groups influences the gradient behavior of the group normalization layer. Based on this observation, we derive the ideal number of groups, which calibrates the gradient scale to facilitate gradient descent optimization. Our proposed number of groups is theoretically grounded, architecture-aware, and can provide a proper value in a layer-wise manner for all layers. The proposed method exhibited improved performance over existing methods in numerous neural network architectures, tasks, and datasets.
• Abstract（参考訳）: 近年,ディープニューラルネットワークのトレーニングを安定化するために,様々な正規化層が提案されている。 中でも群正規化は、それが使用する群数の自由度を許容することにより、層正規化とインスタンス正規化の一般化である。 しかし、最適なグループ数を決定するためには、試行錯誤に基づくハイパーパラメータチューニングが必要である。 本研究では,グループ数を設定する合理的な方法を提案する。 まず,群数が群正規化層の勾配挙動に影響を及ぼすことを見出した。 この観察に基づいて,勾配スケールを規定する群の理想数を導出し,勾配降下最適化を容易にする。 提案するグループ数は理論的に基礎があり、アーキテクチャを意識しており、すべての層に対して適切な値を提供することができる。 提案手法は,多数のニューラルネットワークアーキテクチャ,タスク,データセットにおいて,既存の手法よりも性能が向上した。

関連論文リスト

• Unsupervised Adaptive Normalization [0.07499722271664146]
  Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
  論文  参考訳（メタデータ） (2024-09-07T08:14:11Z)
• A Lie Group Approach to Riemannian Batch Normalization [59.48083303101632]
  本稿では,リー群における正規化手法の統一的枠組みを確立する。 我々は3つの異なるリー群構造を持つ対称正定性(SPD)に焦点を当てる。 これらのリー群によって誘導される特定の正規化層は、SPDニューラルネットワークに対して提案される。
  論文  参考訳（メタデータ） (2024-03-17T16:24:07Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Learning the Right Layers: a Data-Driven Layer-Aggregation Strategy for Semi-Supervised Learning on Multilayer Graphs [2.752817022620644]
  多層グラフ上のクラスタリング(あるいはコミュニティ検出)は、さらにいくつかの複雑さを生じさせる。 主な課題の1つは、各レイヤがクラスタのイテレーションの割り当てにどの程度貢献するかを確立することである。 利用可能な入力ラベルから異なる層を最適に非線形に組み合わせたパラメータフリーなラプラシアン正規化モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-31T19:50:11Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Two-level Group Convolution [2.2344764434954256]
  群畳み込みは、畳み込みの計算時間を短縮するために広く使われている。 本稿では,グループ数の増加に対してロバストな2レベルグループ畳み込みという新しい畳み込み手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T07:54:49Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。