論文の概要: Separation and Concentration in Deep Networks

• arxiv url: http://arxiv.org/abs/2012.10424v2
• Date: Mon, 15 Mar 2021 15:06:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 18:21:54.375709
• Title: Separation and Concentration in Deep Networks
• Title（参考訳）: 深部ネットワークにおける分離と集中
• Authors: John Zarka, Florentin Guth, St\'ephane Mallat
• Abstract要約: ディープニューラルネットワーク分類器は、平均周りのクラス分布を段階的に分離する。 画像分類では,学習されていないウェーブレットタイトフレームを用いてクラス平均の分離を実現できることを示す。 得られた散乱ネットワークは、CIFAR-10とImageNet上のResNet-18の分類精度に達する。
• 参考スコア（独自算出の注目度）: 1.8620637029128544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerical experiments demonstrate that deep neural network classifiers progressively separate class distributions around their mean, achieving linear separability on the training set, and increasing the Fisher discriminant ratio. We explain this mechanism with two types of operators. We prove that a rectifier without biases applied to sign-invariant tight frames can separate class means and increase Fisher ratios. On the opposite, a soft-thresholding on tight frames can reduce within-class variabilities while preserving class means. Variance reduction bounds are proved for Gaussian mixture models. For image classification, we show that separation of class means can be achieved with rectified wavelet tight frames that are not learned. It defines a scattering transform. Learning $1 \times 1$ convolutional tight frames along scattering channels and applying a soft-thresholding reduces within-class variabilities. The resulting scattering network reaches the classification accuracy of ResNet-18 on CIFAR-10 and ImageNet, with fewer layers and no learned biases.
• Abstract（参考訳）: 数値実験により、ディープニューラルネットワーク分類器は、平均付近のクラス分布を段階的に分離し、トレーニングセット上で線形分離性を達成し、フィッシャー判別比を増大させることを示した。 このメカニズムを2種類の演算子で説明する。 符号不変なタイトフレームに適用したバイアスのない整流器は、クラス平均を分離し、フィッシャー比を増大させることができることを示す。 反対に、タイトなフレームに対するソフトスレッショルドはクラス平均を維持しながらクラス内変数を減らすことができる。 分散還元境界はガウス混合モデルで証明される。 画像分類では,学習されていないウェーブレットタイトフレームを用いてクラス平均の分離を実現できることを示す。 散乱変換を定義する。 $1 \times 1$ convolutional tight frames along scattered channel and applied a soft-thresholding lesss in-class variable。 得られた散乱ネットワークは、CIFAR-10とImageNet上のResNet-18の分類精度に達する。

関連論文リスト

• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Discriminability-enforcing loss to improve representation learning [20.4701676109641]
  我々は、個々の高次特徴のエントロピーを最小化するために、ジニ不純物にインスパイアされた新しい損失項を導入する。 我々のGini損失は高い差別的特徴をもたらすが、高レベルの特徴の分布がクラスの分布と一致していることを保証するものではない。 実験結果から,新たな損失項をトレーニング目標に組み込むことで,クロスエントロピー単独でトレーニングしたモデルよりも一貫して優れた結果が得られた。
  論文  参考訳（メタデータ） (2022-02-14T22:31:37Z)
• Instance-based Label Smoothing For Better Calibrated Classification Networks [3.388509725285237]
  ラベルの平滑化はディープニューラルネットワークで多クラス分類に広く利用されている。 ラベルのスムース化と自己蒸留の両方からインスピレーションを得ます。 本稿では2つの新しいインスタンスベースのラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:33:23Z)
• Phase Collapse in Neural Networks [1.8620637029128544]
  深部畳み込み画像分類器は、空間変数をより少ない数のチャネルに徐々に変換し、全てのクラスを線形に分離する。 本稿では,空間的変動性を段階的に排除できる相崩壊機構について述べる。 非線型性のしきい値とは対照的に、繰り返し位相崩壊がクラス平均の分離を段階的に改善する方法を説明することによって正当化される。
  論文  参考訳（メタデータ） (2021-10-11T13:58:01Z)
• Intra-Class Uncertainty Loss Function for Classification [6.523198497365588]
  特にアンバランスクラスを含むデータセットでは、クラス内の不確実性/可変性は考慮されない。 本フレームワークでは,各クラスの深いネットワークによって抽出された特徴を,独立なガウス分布によって特徴付ける。 提案手法は,より優れたクラス表現を学習することで,分類性能の向上を示す。
  論文  参考訳（メタデータ） (2021-04-12T09:02:41Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。