論文の概要: Towards a universal mechanism for successful deep learning
- arxiv url: http://arxiv.org/abs/2309.07537v2
- Date: Tue, 12 Mar 2024 10:46:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 01:44:00.599397
- Title: Towards a universal mechanism for successful deep learning
- Title(参考訳): ディープラーニングを成功させる普遍的なメカニズムを目指して
- Authors: Yuval Meir, Yarden Tzach, Shiri Hodassman, Ofek Tevet and Ido Kanter
- Abstract要約: 本研究は,SNRの精度が層によって徐々に増加することを示す。
与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とともにほぼ直線的に増加する。
同様の傾向がデータセットラベルの [3, 1,000] の範囲で得られ, この機構の普遍性を支持した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, the underlying mechanism for successful deep learning (DL) was
presented based on a quantitative method that measures the quality of a single
filter in each layer of a DL model, particularly VGG-16 trained on CIFAR-10.
This method exemplifies that each filter identifies small clusters of possible
output labels, with additional noise selected as labels outside the clusters.
This feature is progressively sharpened with each layer, resulting in an
enhanced signal-to-noise ratio (SNR), which leads to an increase in the
accuracy of the DL network. In this study, this mechanism is verified for
VGG-16 and EfficientNet-B0 trained on the CIFAR-100 and ImageNet datasets, and
the main results are as follows. First, the accuracy and SNR progressively
increase with the layers. Second, for a given deep architecture, the maximal
error rate increases approximately linearly with the number of output labels.
Third, similar trends were obtained for dataset labels in the range [3, 1,000],
thus supporting the universality of this mechanism. Understanding the
performance of a single filter and its dominating features paves the way to
highly dilute the deep architecture without affecting its overall accuracy, and
this can be achieved by applying the filter's cluster connections (AFCC).
- Abstract(参考訳): 近年, DLモデルの各層, 特にCIFAR-10で訓練されたVGG-16において, 単一フィルタの品質を測定する定量的手法に基づいて, 深層学習(DL)を成功させるメカニズムが提示されている。
この方法では、各フィルタが出力ラベルの小さなクラスタを識別し、クラスタの外側のラベルとして追加ノイズが選択される。
この特徴は各層で徐々に強調され、信号対雑音比(SNR)が向上し、DLネットワークの精度が向上する。
本研究では,CIFAR-100 と ImageNet を用いてトレーニングした VGG-16 と EfficientNet-B0 について検証し,以下の結果を得た。
第一に、各層で精度とSNRが徐々に増大する。
第二に、与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とほぼ直線的に増加する。
第三に、[3, 1000]の範囲のデータセットラベルに対して同様の傾向が得られ、このメカニズムの普遍性を支持した。
単一フィルタの性能と支配機能を理解することは、全体的な精度に影響を与えることなく、ディープアーキテクチャを高度に希薄にする方法を舗装し、フィルタのクラスタ接続(AFCC)を適用することで実現することができる。
関連論文リスト
- LayerMatch: Do Pseudo-labels Benefit All Layers? [77.59625180366115]
半教師付き学習はラベル付きデータの依存性を軽減するための有望なソリューションを提供する。
我々はGrad-ReLUとAvg-Clusteringという2つの層固有の擬似ラベル戦略を開発した。
提案手法は,標準的な半教師付き学習ベンチマークにおいて,例外的な性能を示す。
論文 参考訳(メタデータ) (2024-06-20T11:25:50Z) - Filter Pruning for Efficient CNNs via Knowledge-driven Differential
Filter Sampler [103.97487121678276]
フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。
本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
論文 参考訳(メタデータ) (2023-07-01T02:28:41Z) - The mechanism underlying successful deep learning [0.0]
本稿では,Deep Learning(DL)の基盤となるメカニズムを定量化するための3段階の効率的な手法を提案する。
まず、ディープラーニングアーキテクチャを成功率(SR)にトレーニングする。
次に、最初の数個のCLの重みが固定され、出力に接続された新しいFC層のみが訓練され、その結果、SRは層とともに進行する。
最後に、訓練されたFC重量は、単一のフィルターから現れるものを除いて沈黙される。
論文 参考訳(メタデータ) (2023-05-29T13:28:43Z) - Boosting the Efficiency of Parametric Detection with Hierarchical Neural
Networks [4.1410005218338695]
高速検出のための新しい手法として階層型検出ネットワーク(HDN)を提案する。
ネットワークは、統計的精度と効率の目標を同時に符号化する新しい損失関数を用いて訓練される。
2層モデルを用いた3層HDNのトレーニングにより,精度と効率が向上することを示す。
論文 参考訳(メタデータ) (2022-07-23T19:23:00Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳(メタデータ) (2021-06-09T12:02:29Z) - A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。
得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
論文 参考訳(メタデータ) (2021-04-19T14:43:07Z) - Self-grouping Convolutional Neural Networks [30.732298624941738]
本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。
各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。
得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
論文 参考訳(メタデータ) (2020-09-29T06:24:32Z) - Improving Sample Efficiency with Normalized RBF Kernels [0.0]
本稿では,正規化されたラジアル基底関数(RBF)カーネルを用いたニューラルネットワークをトレーニングして,より優れたサンプル効率を実現する方法について検討する。
この種の出力層は、どのようにしてクラスがコンパクトで適切に分離された埋め込み空間を見つけるかを示す。
CIFAR-10とCIFAR-100の実験により、正規化されたカーネルを出力層として持つネットワークは、より高いサンプリング効率、高いコンパクト性、そして良好な分離性が得られることが示された。
論文 参考訳(メタデータ) (2020-07-30T11:40:29Z) - Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。
本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
論文 参考訳(メタデータ) (2020-05-10T06:11:13Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳(メタデータ) (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。