論文の概要: Within-layer Diversity Reduces Generalization Gap

• arxiv url: http://arxiv.org/abs/2106.06012v1
• Date: Thu, 10 Jun 2021 19:14:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:28:15.488487
• Title: Within-layer Diversity Reduces Generalization Gap
• Title（参考訳）: 層内多様性が一般化ギャップを減らす
• Authors: Firas Laakom, Jenni Raitoharju, Alexandros Iosifidis, Moncef Gabbouj
• Abstract要約: 本研究では,階層内活性化の多様性がニューラルネットワークの一般化性能に与える影響について検討する。 隠れアクティベーションの多様性の増大が推定誤差を減少させることを示す。
• 参考スコア（独自算出の注目度）: 98.91683692988708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are composed of multiple layers arranged in a hierarchical structure jointly trained with a gradient-based optimization, where the errors are back-propagated from the last layer back to the first one. At each optimization step, neurons at a given layer receive feedback from neurons belonging to higher layers of the hierarchy. In this paper, we propose to complement this traditional 'between-layer' feedback with additional 'within-layer' feedback to encourage diversity of the activations within the same layer. To this end, we measure the pairwise similarity between the outputs of the neurons and use it to model the layer's overall diversity. By penalizing similarities and promoting diversity, we encourage each neuron to learn a distinctive representation and, thus, to enrich the data representation learned within the layer and to increase the total capacity of the model. We theoretically study how the within-layer activation diversity affects the generalization performance of a neural network and prove that increasing the diversity of hidden activations reduces the estimation error. In addition to the theoretical guarantees, we present an empirical study on three datasets confirming that the proposed approach enhances the performance of state-of-the-art neural network models and decreases the generalization gap.
• Abstract（参考訳）: ニューラルネットワークは階層構造に配置された複数のレイヤで構成され、勾配に基づく最適化によって、エラーが最後のレイヤから最初のレイヤにバックプロパゲーションされる。 各最適化ステップにおいて、与えられた階層のニューロンは階層の上位層に属するニューロンからフィードバックを受け取る。 本稿では、この従来の「中間層」フィードバックを補足して、同一層内での活性化の多様性を促進することを提案する。 この目的のために、ニューロンの出力間の対関係の類似性を計測し、それを用いて層全体の多様性をモデル化する。 類似性を罰し,多様性を促進することにより,各ニューロンが独特の表現を学ぶことを奨励し,レイヤー内で学習したデータ表現を豊かにし,モデルの総容量を増やす。 本研究では,層内活性化の多様性がニューラルネットワークの一般化性能にどのように影響するかを理論的に検討し,隠れ活性化の多様性の増加が推定誤差を減少させることを示した。 理論的な保証に加えて,提案手法が最先端ニューラルネットワークモデルの性能を高め,一般化ギャップを減少させることを示す3つのデータセットに関する実証研究を行った。

関連論文リスト

• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Understanding Deep Neural Networks via Linear Separability of Hidden Layers [68.23950220548417]
  まず,ミンコフスキー差分に基づく線形分離性尺度(MD-LSMs)を提案し,2点集合の線形分離性度を評価する。 隠れ層出力の線形分離度とネットワークトレーニング性能との間には同期性があることを実証する。
  論文  参考訳（メタデータ） (2023-07-26T05:29:29Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Universal Representations: A Unified Look at Multiple Task and Domain Learning [37.27708297562079]
  本稿では,複数の視覚タスクと視覚領域を共通表現によって統合的に学習することを提案する。 複数の密接な予測問題の学習において、普遍表現が最先端のパフォーマンスを達成することを示す。 また、アブレーションと定性的な研究を通じて複数の分析を行う。
  論文  参考訳（メタデータ） (2022-04-06T11:40:01Z)
• Multi-scale Matching Networks for Semantic Correspondence [38.904735120815346]
  提案手法は,高い計算効率を有する3つの一般的なベンチマークに対して,最先端の性能を実現する。 我々のマルチスケールマッチングネットワークは、学習可能なパラメータをほとんど必要とせずに、エンドツーエンドで簡単に訓練できる。
  論文  参考訳（メタデータ） (2021-07-31T10:57:24Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。