論文の概要: Towards a universal mechanism for successful deep learning

• arxiv url: http://arxiv.org/abs/2309.07537v2
• Date: Tue, 12 Mar 2024 10:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 01:44:00.599397
• Title: Towards a universal mechanism for successful deep learning
• Title（参考訳）: ディープラーニングを成功させる普遍的なメカニズムを目指して
• Authors: Yuval Meir, Yarden Tzach, Shiri Hodassman, Ofek Tevet and Ido Kanter
• Abstract要約: 本研究は,SNRの精度が層によって徐々に増加することを示す。 与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とともにほぼ直線的に増加する。 同様の傾向がデータセットラベルの [3, 1,000] の範囲で得られ, この機構の普遍性を支持した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the underlying mechanism for successful deep learning (DL) was presented based on a quantitative method that measures the quality of a single filter in each layer of a DL model, particularly VGG-16 trained on CIFAR-10. This method exemplifies that each filter identifies small clusters of possible output labels, with additional noise selected as labels outside the clusters. This feature is progressively sharpened with each layer, resulting in an enhanced signal-to-noise ratio (SNR), which leads to an increase in the accuracy of the DL network. In this study, this mechanism is verified for VGG-16 and EfficientNet-B0 trained on the CIFAR-100 and ImageNet datasets, and the main results are as follows. First, the accuracy and SNR progressively increase with the layers. Second, for a given deep architecture, the maximal error rate increases approximately linearly with the number of output labels. Third, similar trends were obtained for dataset labels in the range [3, 1,000], thus supporting the universality of this mechanism. Understanding the performance of a single filter and its dominating features paves the way to highly dilute the deep architecture without affecting its overall accuracy, and this can be achieved by applying the filter's cluster connections (AFCC).
• Abstract（参考訳）: 近年, DLモデルの各層, 特にCIFAR-10で訓練されたVGG-16において, 単一フィルタの品質を測定する定量的手法に基づいて, 深層学習(DL)を成功させるメカニズムが提示されている。 この方法では、各フィルタが出力ラベルの小さなクラスタを識別し、クラスタの外側のラベルとして追加ノイズが選択される。 この特徴は各層で徐々に強調され、信号対雑音比(SNR)が向上し、DLネットワークの精度が向上する。 本研究では,CIFAR-100 と ImageNet を用いてトレーニングした VGG-16 と EfficientNet-B0 について検証し,以下の結果を得た。 第一に、各層で精度とSNRが徐々に増大する。 第二に、与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とほぼ直線的に増加する。 第三に、[3, 1000]の範囲のデータセットラベルに対して同様の傾向が得られ、このメカニズムの普遍性を支持した。 単一フィルタの性能と支配機能を理解することは、全体的な精度に影響を与えることなく、ディープアーキテクチャを高度に希薄にする方法を舗装し、フィルタのクラスタ接続(AFCC)を適用することで実現することができる。

関連論文リスト

• Advanced deep architecture pruning using single filter performance [0.0]
  ニューラルネットワークのパラメータと構造を解析することで、推論時の計算複雑性、エネルギー消費、レイテンシを低減することができる。 ここでは、この理解が、適用されたフィルタクラスタ接続による全体的な精度に影響を与えることなく、ディープアーキテクチャの畳み込み層を高度に希薄にする方法を実証する。
  論文  参考訳（メタデータ） (2025-01-22T13:40:43Z)
• Pruning Deep Convolutional Neural Network Using Conditional Mutual Information [10.302118493842647]
  畳み込みニューラルネットワーク(CNN)は、画像分類タスクにおいて高い性能を達成するが、リソース制限ハードウェアへのデプロイは困難である。 本稿では,各層における最も情報性の高い特徴を識別し,選択的に保持するCNNに対して,構造化されたフィルタ解析手法を提案する。
  論文  参考訳（メタデータ） (2024-11-27T18:23:59Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• LayerMatch: Do Pseudo-labels Benefit All Layers? [77.59625180366115]
  半教師付き学習はラベル付きデータの依存性を軽減するための有望なソリューションを提供する。 我々はGrad-ReLUとAvg-Clusteringという2つの層固有の擬似ラベル戦略を開発した。 提案手法は,標準的な半教師付き学習ベンチマークにおいて,例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-20T11:25:50Z)
• The mechanism underlying successful deep learning [0.0]
  本稿では,Deep Learning(DL)の基盤となるメカニズムを定量化するための3段階の効率的な手法を提案する。 まず、ディープラーニングアーキテクチャを成功率(SR)にトレーニングする。 次に、最初の数個のCLの重みが固定され、出力に接続された新しいFC層のみが訓練され、その結果、SRは層とともに進行する。 最後に、訓練されたFC重量は、単一のフィルターから現れるものを除いて沈黙される。
  論文  参考訳（メタデータ） (2023-05-29T13:28:43Z)
• Boosting the Efficiency of Parametric Detection with Hierarchical Neural Networks [4.1410005218338695]
  高速検出のための新しい手法として階層型検出ネットワーク(HDN)を提案する。 ネットワークは、統計的精度と効率の目標を同時に符号化する新しい損失関数を用いて訓練される。 2層モデルを用いた3層HDNのトレーニングにより,精度と効率が向上することを示す。
  論文  参考訳（メタデータ） (2022-07-23T19:23:00Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
  本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。 得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
  論文  参考訳（メタデータ） (2021-04-19T14:43:07Z)
• Self-grouping Convolutional Neural Networks [30.732298624941738]
  本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。 各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。 得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
  論文  参考訳（メタデータ） (2020-09-29T06:24:32Z)
• Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
  受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。 本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-10T06:11:13Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。