論文の概要: Traces of Class/Cross-Class Structure Pervade Deep Learning Spectra

• arxiv url: http://arxiv.org/abs/2008.11865v1
• Date: Thu, 27 Aug 2020 00:08:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 06:58:44.864981
• Title: Traces of Class/Cross-Class Structure Pervade Deep Learning Spectra
• Title（参考訳）: クラス/クラス構造を用いた深層学習スペクトルのトレース
• Authors: Vardan Papyan
• Abstract要約: 重要な形式的クラス/クラス間構造を同定し、ディープネットスペクトルで観測された多くの視覚的特徴の起点にあることを示す。 これらにはスペクトルの外れ値、"スパイク"、"メインバルク"の端の向こう側によく見られる小さな連続分布、"バンプ"が含まれる。
• 参考スコア（独自算出の注目度）: 6.3491498437393785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous researchers recently applied empirical spectral analysis to the study of modern deep learning classifiers. We identify and discuss an important formal class/cross-class structure and show how it lies at the origin of the many visually striking features observed in deepnet spectra, some of which were reported in recent articles, others are unveiled here for the first time. These include spectral outliers, "spikes", and small but distinct continuous distributions, "bumps", often seen beyond the edge of a "main bulk". The significance of the cross-class structure is illustrated in three ways: (i) we prove the ratio of outliers to bulk in the spectrum of the Fisher information matrix is predictive of misclassification, in the context of multinomial logistic regression; (ii) we demonstrate how, gradually with depth, a network is able to separate class-distinctive information from class variability, all while orthogonalizing the class-distinctive information; and (iii) we propose a correction to KFAC, a well-known second-order optimization algorithm for training deepnets.
• Abstract（参考訳）: 多くの研究者が最近のディープラーニング分類器の研究に経験的スペクトル分析を適用した。 我々は、重要な形式的クラス/クラス構造を特定し、議論し、それがディープネットスペクトルで観測された多くの視覚的に印象的な特徴の原点にあることを示し、そのいくつかは最近の記事で報告され、その他はここで初めて披露されている。 スペクトルの外れ値や「スパイク」、小さなが別個の連続分布である「バンプ」は、しばしば「主バルク」の端を越えて見られる。 クロスクラス構造の重要性は次の3つの方法で示される。 (i)多項ロジスティック回帰(multinomial logistic regression)の文脈において、フィッシャー情報行列のスペクトルにおける外れ値とバルクの比率が誤分類の予測であることを証明する。 (ii)段階的に、ネットワークが、クラス別情報をクラス別情報に直交しながら、クラス別情報とクラス別情報とを分離できることを実証する。 3) ディープネットをトレーニングするための2次最適化アルゴリズムであるKFACの補正を提案する。

関連論文リスト

• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• On Interpretable Approaches to Cluster, Classify and Represent Multi-Subspace Data via Minimum Lossy Coding Length based on Rate-Distortion Theory [0.0]
  クラスタリング、分類、表現は、本質的な構造を持つ高次元データから学習する3つの基本的な目的である。 本稿では,3つの解釈可能なアプローチ,すなわち,最小ロッシー符号化長基準によるセグメンテーション(クラスタリング),最小インクリメンタル符号化長基準による分類,最大符号化レート削減基準による表現を紹介する。
  論文  参考訳（メタデータ） (2023-02-21T01:15:08Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• A Deep Dive into Deep Cluster [0.2578242050187029]
  DeepClusterは、ビジュアル表現のシンプルでスケーラブルな教師なし事前トレーニングである。 本稿では,DeepClusterの収束と性能が,畳み込み層のランダムフィルタの品質と選択されたクラスタ数の相互作用に依存することを示す。
  論文  参考訳（メタデータ） (2022-07-24T22:55:09Z)
• Unsupervised Machine Learning for Exploratory Data Analysis of Exoplanet Transmission Spectra [68.8204255655161]
  我々は、通過する太陽系外惑星のスペクトルデータを解析するための教師なし手法に焦点をあてる。 スペクトルデータには、適切な低次元表現を要求する高い相関関係があることが示される。 主成分に基づく興味深い構造、すなわち、異なる化学状態に対応する明確に定義された分岐を明らかにする。
  論文  参考訳（メタデータ） (2022-01-07T22:26:33Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Spectral Analysis Network for Deep Representation Learning and Image Clustering [53.415803942270685]
  本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。 パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。 クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
  論文  参考訳（メタデータ） (2020-09-11T05:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。