論文の概要: Universality of underlying mechanism for successful deep learning

• arxiv url: http://arxiv.org/abs/2309.07537v1
• Date: Thu, 14 Sep 2023 09:03:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 15:38:30.900426
• Title: Universality of underlying mechanism for successful deep learning
• Title（参考訳）: 深層学習を成功させるための基盤メカニズムの普遍性
• Authors: Yuval Meir, Yarden Tzach, Shiri Hodassman, Ofek Tevet and Ido Kanter
• Abstract要約: 本研究では, フィルタごとのノイズが減少するのに対し, 層ごとの精度は徐々に向上する。 与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とともにほぼ直線的に増加する。 提案機構は,深層アーキテクチャの計算複雑性と精度を向上させるためのいくつかの手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An underlying mechanism for successful deep learning (DL) with a limited deep architecture and dataset, namely VGG-16 on CIFAR-10, was recently presented based on a quantitative method to measure the quality of a single filter in each layer. In this method, each filter identifies small clusters of possible output labels, with additional noise selected as labels out of the clusters. This feature is progressively sharpened with the layers, resulting in an enhanced signal-to-noise ratio (SNR) and higher accuracy. In this study, the suggested universal mechanism is verified for VGG-16 and EfficientNet-B0 trained on the CIFAR-100 and ImageNet datasets with the following main results. First, the accuracy progressively increases with the layers, whereas the noise per filter typically progressively decreases. Second, for a given deep architecture, the maximal error rate increases approximately linearly with the number of output labels. Third, the average filter cluster size and the number of clusters per filter at the last convolutional layer adjacent to the output layer are almost independent of the number of dataset labels in the range [3, 1,000], while a high SNR is preserved. The presented DL mechanism suggests several techniques, such as applying filter's cluster connections (AFCC), to improve the computational complexity and accuracy of deep architectures and furthermore pinpoints the simplification of pre-existing structures while maintaining their accuracies.
• Abstract（参考訳）: 深層アーキテクチャとデータセットに制限のある、成功した深層学習(dl)のメカニズム、すなわちcifar-10上のvgg-16は、最近、各層における単一のフィルタの品質を測定する定量的手法に基づいて発表された。 この方法では、各フィルタは可能なアウトプットラベルの小さなクラスタを識別し、追加のノイズをクラスタからラベルとして選択する。 この特徴は層によって徐々に強化され、信号対雑音比(SNR)が向上し、精度が向上する。 本研究では,CIFAR-100 と ImageNet を用いてトレーニングした VGG-16 と EfficientNet-B0 に対して,以下の主な結果を得た。 まず、層によって精度は徐々に向上し、フィルタごとのノイズは徐々に減少する。 第二に、与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とほぼ直線的に増加する。 第3に、出力層に隣接する最後の畳み込み層におけるフィルタ当たりの平均フィルタクラスタサイズとクラスタ数は、[3, 1000]の範囲内のデータセットラベルの数とほぼ独立であり、高いSNRが保存されている。 提案するDL機構は,フィルタのクラスタ接続(AFCC)の適用,深層アーキテクチャの計算複雑性と精度の向上,さらには既存の構造を簡易化しつつ精度を向上するなど,いくつかの手法を提案する。

関連論文リスト

• LayerMatch: Do Pseudo-labels Benefit All Layers? [77.59625180366115]
  半教師付き学習はラベル付きデータの依存性を軽減するための有望なソリューションを提供する。 我々はGrad-ReLUとAvg-Clusteringという2つの層固有の擬似ラベル戦略を開発した。 提案手法は,標準的な半教師付き学習ベンチマークにおいて,例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-20T11:25:50Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• The mechanism underlying successful deep learning [0.0]
  本稿では,Deep Learning(DL)の基盤となるメカニズムを定量化するための3段階の効率的な手法を提案する。 まず、ディープラーニングアーキテクチャを成功率(SR)にトレーニングする。 次に、最初の数個のCLの重みが固定され、出力に接続された新しいFC層のみが訓練され、その結果、SRは層とともに進行する。 最後に、訓練されたFC重量は、単一のフィルターから現れるものを除いて沈黙される。
  論文  参考訳（メタデータ） (2023-05-29T13:28:43Z)
• Boosting the Efficiency of Parametric Detection with Hierarchical Neural Networks [4.1410005218338695]
  高速検出のための新しい手法として階層型検出ネットワーク(HDN)を提案する。 ネットワークは、統計的精度と効率の目標を同時に符号化する新しい損失関数を用いて訓練される。 2層モデルを用いた3層HDNのトレーニングにより,精度と効率が向上することを示す。
  論文  参考訳（メタデータ） (2022-07-23T19:23:00Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
  本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。 得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
  論文  参考訳（メタデータ） (2021-04-19T14:43:07Z)
• Self-grouping Convolutional Neural Networks [30.732298624941738]
  本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。 各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。 得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
  論文  参考訳（メタデータ） (2020-09-29T06:24:32Z)
• Improving Sample Efficiency with Normalized RBF Kernels [0.0]
  本稿では,正規化されたラジアル基底関数(RBF)カーネルを用いたニューラルネットワークをトレーニングして,より優れたサンプル効率を実現する方法について検討する。 この種の出力層は、どのようにしてクラスがコンパクトで適切に分離された埋め込み空間を見つけるかを示す。 CIFAR-10とCIFAR-100の実験により、正規化されたカーネルを出力層として持つネットワークは、より高いサンプリング効率、高いコンパクト性、そして良好な分離性が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-30T11:40:29Z)
• Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
  受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。 本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-10T06:11:13Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。