論文の概要: Phase Collapse in Neural Networks

• arxiv url: http://arxiv.org/abs/2110.05283v1
• Date: Mon, 11 Oct 2021 13:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 16:41:26.006446
• Title: Phase Collapse in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける位相崩壊
• Authors: Florentin Guth and John Zarka and St\'ephane Mallat
• Abstract要約: 深部畳み込み画像分類器は、空間変数をより少ない数のチャネルに徐々に変換し、全てのクラスを線形に分離する。 本稿では,空間的変動性を段階的に排除できる相崩壊機構について述べる。 非線型性のしきい値とは対照的に、繰り返し位相崩壊がクラス平均の分離を段階的に改善する方法を説明することによって正当化される。
• 参考スコア（独自算出の注目度）: 1.8620637029128544
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep convolutional image classifiers progressively transform the spatial variability into a smaller number of channels, which linearly separates all classes. A fundamental challenge is to understand the role of rectifiers together with convolutional filters in this transformation. Rectifiers with biases are often interpreted as thresholding operators which improve sparsity and discrimination. This paper demonstrates that it is a different phase collapse mechanism which explains the ability to progressively eliminate spatial variability, while improving linear class separation. This is explained and shown numerically by defining a simplified complex-valued convolutional network architecture. It implements spatial convolutions with wavelet filters and uses a complex modulus to collapse phase variables. This phase collapse network reaches the classification accuracy of ResNets of similar depths, whereas its performance is considerably degraded when replacing the phase collapse with thresholding operators. This is justified by explaining how iterated phase collapses progressively improve separation of class means, as opposed to thresholding non-linearities.
• Abstract（参考訳）: 深層畳み込み画像分類器は、空間変数をより少ないチャネルに徐々に変換し、すべてのクラスを線形に分離する。 基本的な課題は、この変換における整流器と畳み込みフィルタの役割を理解することである。 バイアスを持つ整流器はしばしば、スパーシティと差別を改善するしきい値演算子として解釈される。 本稿では,線形クラス分離を改善しつつ,空間変動を漸進的に排除する能力を説明する,異なる位相崩壊機構であることを示す。 これは、単純化された複素値畳み込みネットワークアーキテクチャを定義することで説明され、数値的に示される。 ウェーブレットフィルタによる空間畳み込みを実装し、位相変数の崩壊に複雑なモジュラーを使用する。 この位相崩壊ネットワークは、同様の深さのResNetの分類精度に達するが、位相崩壊をしきい値演算子に置き換えると、その性能は著しく劣化する。 これは、繰り返し位相崩壊がクラス平均の分離を徐々に改善するかを説明することによって正当化される。

関連論文リスト

• Inversion dynamics of class manifolds in deep learning reveals tradeoffs underlying generalisation [0.0]
  非単調な傾向と対立する傾向のバランスをとる表現を最適化力学がいかに見つけるかを示す数値実験について報告する。 インバージョンでのトレーニングエラーはサブサンプリングの下で安定しており、ネットワークの初期化やオプティマイザを越えて、データ構造と(非常に弱い)アーキテクチャのプロパティとして特徴付けられる。
  論文  参考訳（メタデータ） (2023-03-09T10:35:40Z)
• On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks [0.0]
  ガボル型フィルタによるサブサンプル畳み込みはエイリアスしがちであり、小さな入力シフトに敏感である。 安定性を実現する上で,フィルタの周波数と向きが果たす重要な役割を強調した。 二重ツリー複合ウェーブレットパケット変換に基づく決定論的特徴抽出器を設計し,本理論を実験的に検証する。
  論文  参考訳（メタデータ） (2022-09-19T08:15:30Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Learning strides in convolutional neural networks [34.20666933112202]
  この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。 音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2022-02-03T16:03:36Z)
• Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
  我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。 この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。 これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
  論文  参考訳（メタデータ） (2021-12-27T14:05:41Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)
• Separation and Concentration in Deep Networks [1.8620637029128544]
  ディープニューラルネットワーク分類器は、平均周りのクラス分布を段階的に分離する。 画像分類では,学習されていないウェーブレットタイトフレームを用いてクラス平均の分離を実現できることを示す。 得られた散乱ネットワークは、CIFAR-10とImageNet上のResNet-18の分類精度に達する。
  論文  参考訳（メタデータ） (2020-12-18T18:27:37Z)
• Deep Networks from the Principle of Rate Reduction [32.87280757001462]
  この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。 学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。 この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
  論文  参考訳（メタデータ） (2020-10-27T06:01:43Z)
• Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
  本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
  論文  参考訳（メタデータ） (2020-07-29T22:34:45Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。