論文の概要: Advanced deep architecture pruning using single filter performance

• arxiv url: http://arxiv.org/abs/2501.12880v1
• Date: Wed, 22 Jan 2025 13:40:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:28:58.800467
• Title: Advanced deep architecture pruning using single filter performance
• Title（参考訳）: 単一フィルタ性能を用いた高度なDeep Architecture Pruning
• Authors: Yarden Tzach, Yuval Meir, Ronit D. Gross, Ofek Tevet, Ella Koresh, Ido Kanter,
• Abstract要約: ニューラルネットワークのパラメータと構造を解析することで、推論時の計算複雑性、エネルギー消費、レイテンシを低減することができる。 ここでは、この理解が、適用されたフィルタクラスタ接続による全体的な精度に影響を与えることなく、ディープアーキテクチャの畳み込み層を高度に希薄にする方法を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Pruning the parameters and structure of neural networks reduces the computational complexity, energy consumption, and latency during inference. Recently, a novel underlying mechanism for successful deep learning (DL) was presented based on a method that quantitatively measures the single filter performance in each layer of a DL architecture, and a new comprehensive mechanism of how deep learning works was presented. Herein, we demonstrate how this understanding paves the path to highly dilute the convolutional layers of deep architectures without affecting their overall accuracy using applied filter cluster connections (AFCC). AFCC is exemplified on VGG-11 and EfficientNet-B0 architectures trained on CIFAR-100, and its high pruning outperforms other techniques using the same pruning magnitude. Additionally, this technique is broadened to single nodal performance and highly pruning of fully connected layers, suggesting a possible implementation to considerably reduce the complexity of over-parameterized AI tasks.
• Abstract（参考訳）: ニューラルネットワークのパラメータと構造を解析することで、推論時の計算複雑性、エネルギー消費、レイテンシを低減することができる。 近年,DLアーキテクチャの各層における単一フィルタ性能を定量的に測定する手法に基づいて,新たな深層学習機構(DL)が提案されている。 本稿では、この理解が、応用フィルタクラスタ接続(AFCC)を用いて、全体的な精度に影響を与えることなく、ディープアーキテクチャの畳み込み層を高度に希薄にする方法を実証する。 AFCCは、CIFAR-100で訓練されたVGG-11とEfficientNet-B0アーキテクチャを例示しており、その高いプルーニング性能は、同じプルーニング等級を用いて他の技術よりも優れている。 さらに、この技術は単一結節性能に拡張され、完全に接続されたレイヤーの高プルーニングが可能となり、過度にパラメータ化されたAIタスクの複雑さを著しく低減できる可能性が示唆されている。

関連論文リスト

• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Towards a universal mechanism for successful deep learning [0.0]
  本研究は,SNRの精度が層によって徐々に増加することを示す。 与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とともにほぼ直線的に増加する。 同様の傾向がデータセットラベルの [3, 1,000] の範囲で得られ, この機構の普遍性を支持した。
  論文  参考訳（メタデータ） (2023-09-14T09:03:57Z)
• A Multi-objective Complex Network Pruning Framework Based on Divide-and-conquer and Global Performance Impairment Ranking [40.59001171151929]
  本稿では,多目的複合ネットワークプルーニングフレームワークを提案する。 提案アルゴリズムは,最先端プルーニング手法と同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T12:05:15Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• Wasserstein Routed Capsule Networks [90.16542156512405]
  複雑なタスクに対処できる新しいパラメータ効率の良いカプセルアーキテクチャを提案する。 我々のネットワークはCIFAR-10で他のカプセルのアプローチを1.2%以上上回ります。
  論文  参考訳（メタデータ） (2020-07-22T14:38:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。