論文の概要: Designing Semi-Structured Pruning of Graph Convolutional Networks for Skeleton-based Recognition

• arxiv url: http://arxiv.org/abs/2412.11813v1
• Date: Mon, 16 Dec 2024 14:29:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:45.766632
• Title: Designing Semi-Structured Pruning of Graph Convolutional Networks for Skeleton-based Recognition
• Title（参考訳）: 骨格認識のためのグラフ畳み込みネットワークの半構造化プルーニングの設計
• Authors: Hichem Sahbi,
• Abstract要約: プルーニング(Pruning)は、不要なネットワーク部品を除去して動作させる軽量なネットワーク設計手法の1つである。 本稿では,構造的および非構造的プルーニングの欠点を解消する,新しい半構造化手法を提案する。 提案手法は, (i) 大きさに応じて重みを振る舞うバンドストップ機構, (ii) 個別にあるいはグループ的に接続するウェイトシェアリングパラメトリゼーション, (iii) 異なるグループワイドとエントリーワイドプルーニングを仲裁するゲーティング機構を組み合わせた, 微分可能なカスケードパラメトリゼーションに基づく。
• 参考スコア（独自算出の注目度）: 5.656581242851759
• License:
• Abstract: Deep neural networks (DNNs) are nowadays witnessing a major success in solving many pattern recognition tasks including skeleton-based classification. The deployment of DNNs on edge-devices, endowed with limited time and memory resources, requires designing lightweight and efficient variants of these networks. Pruning is one of the lightweight network design techniques that operate by removing unnecessary network parts, in a structured or an unstructured manner, including individual weights, neurons or even entire channels. Nonetheless, structured and unstructured pruning methods, when applied separately, may either be inefficient or ineffective. In this paper, we devise a novel semi-structured method that discards the downsides of structured and unstructured pruning while gathering their upsides to some extent. The proposed solution is based on a differentiable cascaded parametrization which combines (i) a band-stop mechanism that prunes weights depending on their magnitudes, (ii) a weight-sharing parametrization that prunes connections either individually or group-wise, and (iii) a gating mechanism which arbitrates between different group-wise and entry-wise pruning. All these cascaded parametrizations are built upon a common latent tensor which is trained end-to-end by minimizing a classification loss and a surrogate tensor rank regularizer. Extensive experiments, conducted on the challenging tasks of action and hand-gesture recognition, show the clear advantage of our proposed semi-structured pruning approach against both structured and unstructured pruning, when taken separately, as well as the related work.
• Abstract（参考訳）: 近年、ディープニューラルネットワーク(DNN)は、骨格に基づく分類を含む多くのパターン認識タスクの解決に成功している。 エッジデバイスへのDNNの展開には、限られた時間とメモリリソースが与えられ、これらのネットワークの軽量で効率的なバリエーションを設計する必要がある。 プルーニング(Pruning)は、不要なネットワーク部分を取り除き、個々の重みやニューロン、さらにはチャネル全体を含む非構造的または非構造的に運用する、軽量なネットワーク設計手法の1つである。 それでも、構造的および非構造的プルーニング法は、別々に適用された場合、非効率または非効率である。 本稿では, 構造的および非構造的プルーニングの欠点を, ある程度のアップサイドを集めながら解消する半構造的手法を考案する。 提案した解法は、組み合わせた微分可能なカスケードパラメトリゼーションに基づいている。 (i)その大きさによって重みを張るバンドストップ機構。 二 個別に又は集団的に連結する重量分担パラメトリゼーション 三 異なるグループワイドとエントリーワイドプルーニングを仲裁するゲーティング機構。 これらすべてのカスケードパラメトリゼーションは、分類損失と代理テンソルランク正規化器を最小化することにより、エンドツーエンドで訓練される共通の潜時テンソルの上に構築される。 本研究は, 作業課題の課題と手振り認識を総合的に検討し, 得られた半構造化プルーニング法と非構造化プルーニング法を, 別々に行う場合, および関連する作業に対して明らかな優位性を示すものである。

関連論文リスト

• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Structurally Prune Anything: Any Architecture, Any Framework, Any Time [84.6210631783801]
  ニューラルネットワークのための汎用的な構造化プルーニングフレームワークであるStructurely Prune Anything (SPA)を紹介した。 SPAは、トレーニング前、微調整後のトレーニング後、または微調整なしでのトレーニング後、いつでもプランニングをサポートする。 大規模な実験では、SPAは様々なアーキテクチャで最先端のプルーニング性能と競合することを示した。
  論文  参考訳（メタデータ） (2024-03-03T13:49:49Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep Convolutional Neural Networks [9.293334856614628]
  本稿では,補助ゲーティング構造を有する新しいネットワーク切断法を提案する。 実験により,本手法は分類タスクの最先端圧縮性能を実現することができることを示した。
  論文  参考訳（メタデータ） (2022-05-07T09:03:32Z)
• Compact Neural Networks via Stacking Designed Basic Units [38.10212043168065]
  本稿では、より少ない重みパラメータを持つコンパクトニューラルネットワークを直接構築する、TythNetと呼ばれる新しい手法を提案する。 我々は、さまざまなベンチマークデータセットの最先端プルーニング手法と比較するために、さまざまな人気バックボーンでTOTYNetを定式化する。 実験の結果、TeachNetは最大80%のFLOPと89.7%のパラメータを節約しながら、同等の分類精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-05-03T14:04:49Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks [0.913755431537592]
  我々は, 共通の反復的打ち込み手法を用いて, 打ち抜きモデルの接続構造と学習力学の相違を解析した。 重量安定性はアポサイトプルーニング技術によって自動的に達成できるという実証的証拠を示す。
  論文  参考訳（メタデータ） (2020-01-14T21:11:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。