論文の概要: Efficient shallow learning as an alternative to deep learning
- arxiv url: http://arxiv.org/abs/2211.11106v2
- Date: Wed, 23 Nov 2022 11:38:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-27 13:10:00.159524
- Title: Efficient shallow learning as an alternative to deep learning
- Title（参考訳）: 深層学習の代替としての効率的な浅層学習
- Authors: Yuval Meir, Ofek Tevet, Yarden Tzach, Shiri Hodassman, Ronit D. Gross
and Ido Kanter
- Abstract要約: 一般化された浅層LeNetアーキテクチャの誤差率は5層に過ぎず,第1畳み込み層におけるフィルタ数に比例して減衰することを示した。
同様の指数を持つ電力法則も一般化されたVGG-16アーキテクチャを特徴付けている。
畳み込み層に沿った保存法則は、その大きさの深さの平方根であり、誤り率を最小化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The realization of complex classification tasks requires training of deep
learning (DL) architectures consisting of tens or even hundreds of
convolutional and fully connected hidden layers, which is far from the reality
of the human brain. According to the DL rationale, the first convolutional
layer reveals localized patterns in the input and large-scale patterns in the
following layers, until it reliably characterizes a class of inputs. Here, we
demonstrate that with a fixed ratio between the depths of the first and second
convolutional layers, the error rates of the generalized shallow LeNet
architecture, consisting of only five layers, decay as a power law with the
number of filters in the first convolutional layer. The extrapolation of this
power law indicates that the generalized LeNet can achieve small error rates
that were previously obtained for the CIFAR-10 database using DL architectures.
A power law with a similar exponent also characterizes the generalized VGG-16
architecture. However, this results in a significantly increased number of
operations required to achieve a given error rate with respect to LeNet. This
power law phenomenon governs various generalized LeNet and VGG-16
architectures, hinting at its universal behavior and suggesting a quantitative
hierarchical time-space complexity among machine learning architectures.
Additionally, the conservation law along the convolutional layers, which is the
square-root of their size times their depth, is found to asymptotically
minimize error rates. The efficient shallow learning that is demonstrated in
this study calls for further quantitative examination using various databases
and architectures and its accelerated implementation using future dedicated
hardware developments.
- Abstract（参考訳）: 複雑な分類タスクの実現には、人間の脳の現実とはかけ離れた、数十から数百の畳み込みと完全に結びついた隠された層からなるディープラーニング(DL)アーキテクチャのトレーニングが必要である。
DLの論理によれば、第1の畳み込み層は、入力のクラスを確実に特徴づけるまで、以下の層における入力および大規模パターンの局所化パターンを明らかにする。
本稿では,第1畳み込み層と第2畳み込み層の深さの比率が一定であることから,第1畳み込み層のフィルタ数に比例するパワー則として減衰する5層のみからなる一般浅層リーネットアーキテクチャの誤差率を示す。
この電力法則の外挿は、一般化されたLeNetが、DLアーキテクチャを用いてCIFAR-10データベースで以前得られた小さなエラー率を達成できることを示している。
同様の指数を持つ電力法則も一般化されたVGG-16アーキテクチャを特徴付けている。
しかし、この結果、lenetに関して与えられたエラー率を達成するのに必要な操作数が大幅に増加する。
このパワーロー現象は、様々な一般化されたlenetとvgg-16アーキテクチャを管理し、その普遍的な振る舞いを示唆し、機械学習アーキテクチャ間での定量的階層的時間空間複雑性を示唆する。
さらに、その大きさの深さの平方根である畳み込み層に沿った保存法則は、漸近的に誤り率を最小化する。
本研究で実証された効率的な浅層学習は,様々なデータベースとアーキテクチャを用いたさらなる定量的評価と,今後の専用ハードウェア開発による実装の促進を求めるものである。
関連論文リスト
- EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
眼球運動バイオメトリックスは、高い安全性の識別により注目されている。
深層学習(DL)モデルは近年,眼球運動認識に成功している。
DLアーキテクチャはまだ人間の事前知識によって決定されている。
眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
論文 参考訳（メタデータ） (2024-09-22T13:11:08Z) - A Law of Data Separation in Deep Learning [41.58856318262069]
ニューラルネットワークが中間層でどのようにデータを処理しているかという根本的な問題について検討する。
私たちの発見は、ディープニューラルネットワークがクラスメンバーシップに従ってどのようにデータを分離するかを規定する、シンプルで定量的な法則です。
論文 参考訳（メタデータ） (2022-10-31T02:25:38Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳（メタデータ） (2022-07-04T09:05:25Z) - Stacked unsupervised learning with a network architecture found by
supervised meta-learning [4.209801809583906]
階層化された教師なし学習は、バックプロパゲーションよりも生物学的に妥当に思える。
しかし、SULは実践的な応用においてバックプロパゲーションには程遠い。
MNIST桁の完全教師なしクラスタリングが可能なSULアルゴリズムを示す。
論文 参考訳（メタデータ） (2022-06-06T16:17:20Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z) - Introducing Fuzzy Layers for Deep Learning [5.209583609264815]
ディープラーニングにはファジィレイヤという,新たなレイヤを導入しています。
従来、ニューラルネットワークのネットワークアーキテクチャは、入力層、隠された層の組み合わせ、出力層から構成されていた。
本稿では,ファジィ手法によって表現される強力な集約特性を活用するために,ファジィ層をディープラーニングアーキテクチャに導入することを提案する。
論文 参考訳（メタデータ） (2020-02-21T19:33:30Z) - Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。
各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。
提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文 参考訳（メタデータ） (2020-01-08T06:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。