論文の概要: Learning Coarse-to-Fine Pruning of Graph Convolutional Networks for Skeleton-based Recognition

• arxiv url: http://arxiv.org/abs/2412.12887v1
• Date: Tue, 17 Dec 2024 13:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:58:29.895829
• Title: Learning Coarse-to-Fine Pruning of Graph Convolutional Networks for Skeleton-based Recognition
• Title（参考訳）: 骨格認識のためのグラフ畳み込みネットワークの粗大なPruning学習
• Authors: Hichem Sahbi,
• Abstract要約: マグニチュード・プルーニング(Magnitude Pruning)は、最小の接続を除去する軽量なネットワーク設計手法である。 構造化および非構造化プルーニングの利点を収集する新しい粗粒化法(CTF)を考案する。 我々の手法は、各接続のマスクをアダマール積としてモデル化する新しいCTFパラメトリゼーションに依存している。
• 参考スコア（独自算出の注目度）: 5.656581242851759
• License:
• Abstract: Magnitude Pruning is a staple lightweight network design method which seeks to remove connections with the smallest magnitude. This process is either achieved in a structured or unstructured manner. While structured pruning allows reaching high efficiency, unstructured one is more flexible and leads to better accuracy, but this is achieved at the expense of low computational performance. In this paper, we devise a novel coarse-to-fine (CTF) method that gathers the advantages of structured and unstructured pruning while discarding their inconveniences to some extent. Our method relies on a novel CTF parametrization that models the mask of each connection as the Hadamard product involving four parametrizations which capture channel-wise, column-wise, row-wise and entry-wise pruning respectively. Hence, fine-grained pruning is enabled only when the coarse-grained one is disabled, and this leads to highly efficient networks while being effective. Extensive experiments conducted on the challenging task of skeleton-based recognition, using the standard SBU and FPHA datasets, show the clear advantage of our CTF approach against different baselines as well as the related work.
• Abstract（参考訳）: マグニチュード・プルーニング(Magnitude Pruning)は、最小の接続を除去しようとする、最も軽量なネットワーク設計手法である。 このプロセスは構造化または非構造化の方法で達成される。 構造化プルーニングは高い効率を達成することができるが、非構造化プルーニングはより柔軟であり、精度が向上するが、計算性能の低下を犠牲にして達成される。 本稿では,不便さをある程度排除しつつ,構造的および非構造的プルーニングの利点を蓄積する,新しい粗大きめ(CTF)手法を提案する。 本手法は,チャネルワイド,列ワイド,行ワイド,エントリワイドの各プルーニングを4つのパラメトリゼーションを含むアダマール積として,各接続のマスクをモデル化した新しいCTFパラメトリゼーションに依存する。 これにより、粗粒化が不可能な場合にのみきめ細粒化が実現され、効率よくネットワークを構築できる。 標準的なSBUデータセットとFPHAデータセットを用いた骨格認識の難易度に関する大規模な実験は、異なるベースラインと関連する作業に対するCTFアプローチの明確な利点を示している。

関連論文リスト

• Structural Pruning via Spatial-aware Information Redundancy for Semantic Segmentation [34.554924043562295]
  既存のプルーニング手法のほとんどは、もともと画像分類用に設計されたもので、セグメンテーションが位置感性タスクであるという事実を無視するものである、と我々は主張する。 本稿では,チャネル間の特徴冗長性を低減することを目的とした,空間認識型情報冗長性フィルタプルーニング(Spatial-Aware Information Redundancy Filter Pruning)を提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:41:50Z)
• Designing Semi-Structured Pruning of Graph Convolutional Networks for Skeleton-based Recognition [5.656581242851759]
  プルーニング(Pruning)は、不要なネットワーク部品を除去して動作させる軽量なネットワーク設計手法の1つである。 本稿では,構造的および非構造的プルーニングの欠点を解消する,新しい半構造化手法を提案する。 提案手法は, (i) 大きさに応じて重みを振る舞うバンドストップ機構, (ii) 個別にあるいはグループ的に接続するウェイトシェアリングパラメトリゼーション, (iii) 異なるグループワイドとエントリーワイドプルーニングを仲裁するゲーティング機構を組み合わせた, 微分可能なカスケードパラメトリゼーションに基づく。
  論文  参考訳（メタデータ） (2024-12-16T14:29:31Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep Convolutional Neural Networks [9.293334856614628]
  本稿では,補助ゲーティング構造を有する新しいネットワーク切断法を提案する。 実験により,本手法は分類タスクの最先端圧縮性能を実現することができることを示した。
  論文  参考訳（メタデータ） (2022-05-07T09:03:32Z)
• Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach [4.284071491453377]
  我々は、新しい非構造化プルーニングパイプライン、注意に基づく同時スパース構造と重み学習(ASWL)を提案する。 ASWLは, 各層毎の層単位でのプルーニング比を計算する効率的なアルゴリズムを提案し, 密集ネットワークとスパースネットワークの重みをランダムな重みから同時に学習するように追従する。 MNIST, Cifar10, ImageNet を用いた実験により, ASWL は精度, プルーニング率, 運転効率の点で, 優れたプルーニング結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-11-01T02:27:44Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks [12.541769091896624]
  プルーニングはディープニューラルネットワーク(DNN)の冗長パラメータを除去するモデル圧縮法である 特徴フロー正則化(FFR)と呼ばれる特徴の進化という新たな視点から, 単純かつ効果的な正則化戦略を提案する。 VGGNets、CIFAR-10/100上のResNets、Tiny ImageNetデータセットによる実験では、FFRが非構造化と構造化の両方の空間性を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2021-06-05T15:00:50Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。