論文の概要: A Law of Data Separation in Deep Learning
- arxiv url: http://arxiv.org/abs/2210.17020v1
- Date: Mon, 31 Oct 2022 02:25:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 14:47:46.170874
- Title: A Law of Data Separation in Deep Learning
- Title（参考訳）: ディープラーニングにおけるデータ分離の法則
- Authors: Hangfeng He and Weijie J. Su
- Abstract要約: 実世界のディープニューラルネットワークが、クラスメンバーシップに応じてどのようにデータを分離するかを規定する厳密な法則を導入する。
各層は,テキスト等乗乗算係数によってデータ分離の指標を大まかに改善することを示す。
この法則は、ネットワークアーキテクチャの設計、モデルの堅牢性の向上、トレーニング中のアウトオブサンプルのパフォーマンス向上、ディープラーニング予測の解釈のための実践的なガイドラインを提供する。
- 参考スコア（独自算出の注目度）: 41.58856318262069
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multilayer neural networks have achieved superhuman performance in many
artificial intelligence applications. However, their black-box nature obscures
the underlying mechanism for transforming input data into labels throughout all
layers, thus hindering architecture design for new tasks and interpretation for
high-stakes decision makings. We addressed this problem by introducing a
precise law that governs how real-world deep neural networks separate data
according to their class membership from the bottom layers to the top layers in
classification problems. This law shows that each layer roughly improves a
certain measure of data separation by an \textit{equal} multiplicative factor.
This law manifests in modern architectures such as AlexNet, VGGNet, and ResNet
in the late phase of training. This law together with the perspective of data
separation offers practical guidelines for designing network architectures,
improving model robustness and out-of-sample performance during training, as
well as interpreting deep learning predictions.
- Abstract（参考訳）: 多層ニューラルネットワークは多くの人工知能アプリケーションで超人的性能を達成した。
しかしながら、そのブラックボックスの性質は、入力データをすべての層にまたがるラベルに変換するメカニズムを曖昧にし、新しいタスクのためのアーキテクチャ設計や高い意思決定のための解釈を妨げる。
分類問題において,実世界のディープニューラルネットワークが下位層から上位層へのクラスメンバシップに応じてデータを分離する方法を規定する厳密な法則を導入することで,この問題に対処した。
この法則は、各層が大まかにデータ分離の尺度を \textit{equal} 乗法因子によって改善することを示している。
この法則は、トレーニングの後期にAlexNet、VGGNet、ResNetといったモダンなアーキテクチャに現れる。
この法則は、データ分離の観点からも、ネットワークアーキテクチャの設計、モデルの堅牢性の向上、トレーニング中のアウトオブサンプルのパフォーマンス向上、ディープラーニング予測の解釈のための実践的なガイドラインを提供する。
関連論文リスト
- Data Augmentations in Deep Weight Spaces [89.45272760013928]
そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。
既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
論文 参考訳（メタデータ） (2023-11-15T10:43:13Z) - Understanding Deep Representation Learning via Layerwise Feature
Compression and Discrimination [33.273226655730326]
深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。
これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
論文 参考訳（メタデータ） (2023-11-06T09:00:38Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Hidden Classification Layers: Enhancing linear separability between
classes in neural networks layers [0.0]
トレーニング手法の深層ネットワーク性能への影響について検討する。
本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-06-09T10:52:49Z) - Deep neural networks architectures from the perspective of manifold
learning [0.0]
本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。
我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
論文 参考訳（メタデータ） (2023-06-06T04:57:39Z) - Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。
ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。
NASはコンピュータビジョンの幅広い問題に適用されている。
論文 参考訳（メタデータ） (2022-02-15T08:06:50Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Introducing Fuzzy Layers for Deep Learning [5.209583609264815]
ディープラーニングにはファジィレイヤという,新たなレイヤを導入しています。
従来、ニューラルネットワークのネットワークアーキテクチャは、入力層、隠された層の組み合わせ、出力層から構成されていた。
本稿では,ファジィ手法によって表現される強力な集約特性を活用するために,ファジィ層をディープラーニングアーキテクチャに導入することを提案する。
論文 参考訳（メタデータ） (2020-02-21T19:33:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。