論文の概要: Learning distinct features helps, provably

• arxiv url: http://arxiv.org/abs/2106.06012v3
• Date: Tue, 13 Jun 2023 07:34:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 19:01:52.164643
• Title: Learning distinct features helps, provably
• Title（参考訳）: はっきりした特徴を学ぶことは
• Authors: Firas Laakom, Jenni Raitoharju, Alexandros Iosifidis, Moncef Gabbouj
• Abstract要約: 最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
• 参考スコア（独自算出の注目度）: 98.78384185493624
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study the diversity of the features learned by a two-layer neural network trained with the least squares loss. We measure the diversity by the average $L_2$-distance between the hidden-layer features and theoretically investigate how learning non-redundant distinct features affects the performance of the network. To do so, we derive novel generalization bounds depending on feature diversity based on Rademacher complexity for such networks. Our analysis proves that more distinct features at the network's units within the hidden layer lead to better generalization. We also show how to extend our results to deeper networks and different losses.
• Abstract（参考訳）: 最小二乗損失で学習した2層ニューラルネットワークによって得られた特徴の多様性について検討した。 隠れ層特徴間の平均$L_2$-distanceで多様性を測定し,非冗長な特徴の学習がネットワークの性能に与える影響を理論的に検討する。 そのため、そのようなネットワークに対するRademacher複雑性に基づいた特徴量による新しい一般化境界を導出する。 我々の分析は、隠れた層内のネットワークユニットのより異なる特徴がより一般化につながることを証明している。 また、結果をより深いネットワークや異なる損失に拡張する方法も示しています。

関連論文リスト

• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Understanding Deep Neural Networks via Linear Separability of Hidden Layers [68.23950220548417]
  まず,ミンコフスキー差分に基づく線形分離性尺度(MD-LSMs)を提案し,2点集合の線形分離性度を評価する。 隠れ層出力の線形分離度とネットワークトレーニング性能との間には同期性があることを実証する。
  論文  参考訳（メタデータ） (2023-07-26T05:29:29Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Universal Representations: A Unified Look at Multiple Task and Domain Learning [37.27708297562079]
  本稿では,複数の視覚タスクと視覚領域を共通表現によって統合的に学習することを提案する。 複数の密接な予測問題の学習において、普遍表現が最先端のパフォーマンスを達成することを示す。 また、アブレーションと定性的な研究を通じて複数の分析を行う。
  論文  参考訳（メタデータ） (2022-04-06T11:40:01Z)
• Multi-scale Matching Networks for Semantic Correspondence [38.904735120815346]
  提案手法は,高い計算効率を有する3つの一般的なベンチマークに対して,最先端の性能を実現する。 我々のマルチスケールマッチングネットワークは、学習可能なパラメータをほとんど必要とせずに、エンドツーエンドで簡単に訓練できる。
  論文  参考訳（メタデータ） (2021-07-31T10:57:24Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。