論文の概要: The mechanism underlying successful deep learning

• arxiv url: http://arxiv.org/abs/2305.18078v1
• Date: Mon, 29 May 2023 13:28:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 15:01:02.496212
• Title: The mechanism underlying successful deep learning
• Title（参考訳）: ディープラーニングの成功を支えるメカニズム
• Authors: Yarden Tzach, Yuval Meir, Ofek Tevet, Ronit D. Gross, Shiri Hodassman, Roni Vardi and Ido Kanter
• Abstract要約: 本稿では,Deep Learning(DL)の基盤となるメカニズムを定量化するための3段階の効率的な手法を提案する。 まず、ディープラーニングアーキテクチャを成功率(SR)にトレーニングする。 次に、最初の数個のCLの重みが固定され、出力に接続された新しいFC層のみが訓練され、その結果、SRは層とともに進行する。 最後に、訓練されたFC重量は、単一のフィルターから現れるものを除いて沈黙される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep architectures consist of tens or hundreds of convolutional layers (CLs) that terminate with a few fully connected (FC) layers and an output layer representing the possible labels of a complex classification task. According to the existing deep learning (DL) rationale, the first CL reveals localized features from the raw data, whereas the subsequent layers progressively extract higher-level features required for refined classification. This article presents an efficient three-phase procedure for quantifying the mechanism underlying successful DL. First, a deep architecture is trained to maximize the success rate (SR). Next, the weights of the first several CLs are fixed and only the concatenated new FC layer connected to the output is trained, resulting in SRs that progress with the layers. Finally, the trained FC weights are silenced, except for those emerging from a single filter, enabling the quantification of the functionality of this filter using a correlation matrix between input labels and averaged output fields, hence a well-defined set of quantifiable features is obtained. Each filter essentially selects a single output label independent of the input label, which seems to prevent high SRs; however, it counterintuitively identifies a small subset of possible output labels. This feature is an essential part of the underlying DL mechanism and is progressively sharpened with layers, resulting in enhanced signal-to-noise ratios and SRs. Quantitatively, this mechanism is exemplified by the VGG-16, VGG-6, and AVGG-16. The proposed mechanism underlying DL provides an accurate tool for identifying each filter's quality and is expected to direct additional procedures to improve the SR, computational complexity, and latency of DL.
• Abstract（参考訳）: 深層アーキテクチャは、数十から数百の畳み込み層(CL)で構成され、いくつかの完全連結層(FC)と複雑な分類タスクのラベルを表す出力層で構成される。 既存のディープラーニング(dl)の根拠によれば、最初のclは生データからローカライズされた特徴を示し、続くレイヤは洗練された分類に必要な高レベルな特徴を徐々に抽出する。 本稿では,DLの基盤となるメカニズムを定量化する3段階の効率的な手法を提案する。 まず、成功率(sr)を最大化するために、深いアーキテクチャを訓練する。 次に、最初の数個のclの重みが固定され、出力に接続された結合された新しいfc層のみが訓練され、srsが層に進行する。 最後に、訓練されたfc重みを単一のフィルタから発生するものを除いて沈黙させ、入力ラベルと平均出力フィールドの相関行列を用いて、このフィルタの機能の定量化を可能にすることにより、定量化可能な特徴の集合を得る。 各フィルタは基本的に入力ラベルとは無関係に単一の出力ラベルを選択し、高いSRを防止しているように見えるが、出力ラベルの小さなサブセットを反故意に識別する。 この特徴は基礎となるDL機構の不可欠な部分であり、層によって徐々にシャープ化され、信号対雑音比とSRが向上する。 この機構は、VGG-16、VGG-6、AVGG-16によって定量的に実証される。 DLの基盤となるメカニズムは、各フィルタの品質を特定するための正確なツールを提供し、SR、計算複雑性、DLのレイテンシを改善するための追加手順を指示することが期待されている。

関連論文リスト

• LayerMatch: Do Pseudo-labels Benefit All Layers? [77.59625180366115]
  半教師付き学習はラベル付きデータの依存性を軽減するための有望なソリューションを提供する。 我々はGrad-ReLUとAvg-Clusteringという2つの層固有の擬似ラベル戦略を開発した。 提案手法は,標準的な半教師付き学習ベンチマークにおいて,例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-20T11:25:50Z)
• Towards a universal mechanism for successful deep learning [0.0]
  本研究は,SNRの精度が層によって徐々に増加することを示す。 与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とともにほぼ直線的に増加する。 同様の傾向がデータセットラベルの [3, 1,000] の範囲で得られ, この機構の普遍性を支持した。
  論文  参考訳（メタデータ） (2023-09-14T09:03:57Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Focus Your Attention (with Adaptive IIR Filters) [62.80628327613344]
  本稿では2次インパルス応答(IIR)フィルタを用いて入力シーケンスを動的に処理する新しい層を提案する。 比較的低次であるにもかかわらず、因果適応フィルタは関連する配列要素に注目することが示されている。
  論文  参考訳（メタデータ） (2023-05-24T09:42:30Z)
• Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning [1.3467579878240454]
  畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
  論文  参考訳（メタデータ） (2021-08-06T00:04:02Z)
• A Hierarchical Coding Scheme for Glasses-free 3D Displays Based on Scalable Hybrid Layered Representation of Real-World Light Fields [0.6091702876917279]
  Schemeは、異なる走査順序から決定される光界ビューのサブセットから、積み重ねた乗法レイヤを学習する。 層状パターンの空間的相関は、クリロフ部分空間上の特異値分解から導かれる係数化の低い階数で悪用される。 HEVCによるエンコーディングは、低ランク近似層におけるイントラビューおよびインタービュー相関を効率的に除去する。
  論文  参考訳（メタデータ） (2021-04-19T15:09:21Z)
• An evidential classifier based on Dempster-Shafer theory and deep learning [6.230751621285322]
  Dempster-Shafer(DS)理論に基づく新しい分類システムと、集合値分類のための畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 画像認識,信号処理,セマンティック-リレーションシップ分類タスクに関する実験では,深部CNN,DS層,期待されるユーティリティ層の組み合わせにより,分類精度の向上が図られている。
  論文  参考訳（メタデータ） (2021-03-25T01:29:05Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Novel Adaptive Binary Search Strategy-First Hybrid Pyramid- and Clustering-Based CNN Filter Pruning Method without Parameters Setting [3.7468898363447654]
  CNNモデルにおける冗長フィルタの実行は注目されている。 本稿では,フィルタの自動刈取のための適応二分探索ファーストハイブリッドピラミッドとクラスタリングベース (ABS HPC) 手法を提案する。 実際のデータセットとCNNモデルに基づいて、より高精度な実験結果により、提案手法の有意なパラメータと浮動小数点演算の低減効果が示された。
  論文  参考訳（メタデータ） (2020-06-08T10:09:43Z)
• Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
  受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。 本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-10T06:11:13Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。