論文の概要: A One-Shot Reparameterization Method for Reducing the Loss of Tile Pruning on DNNs

• arxiv url: http://arxiv.org/abs/2207.14545v1
• Date: Fri, 29 Jul 2022 08:27:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-01 12:24:59.979365
• Title: A One-Shot Reparameterization Method for Reducing the Loss of Tile Pruning on DNNs
• Title（参考訳）: DNNにおけるタイル打ちの損失低減のためのワンショット再パラメータ化法
• Authors: Yanchen Li, Qingzhong Ai and Fumihiko Ino
• Abstract要約: 深層ニューラルネットワーク(DNN)の推論を促進するためにタイルプルーニングが広く研究されている 我々は、訓練されたDNNにおけるタイルプルーニングの損失を低減するために、TileTransを提案する。 精度はAlexNetでは最大17%向上し、ResNet-34では5%向上した。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, tile pruning has been widely studied to accelerate the inference of deep neural networks (DNNs). However, we found that the loss due to tile pruning, which can eliminate important elements together with unimportant elements, is large on trained DNNs. In this study, we propose a one-shot reparameterization method, called TileTrans, to reduce the loss of tile pruning. Specifically, we repermute the rows or columns of the weight matrix such that the model architecture can be kept unchanged after reparameterization. This repermutation realizes the reparameterization of the DNN model without any retraining. The proposed reparameterization method combines important elements into the same tile; thus, preserving the important elements after the tile pruning. Furthermore, TileTrans can be seamlessly integrated into existing tile pruning methods because it is a pre-processing method executed before pruning, which is orthogonal to most existing methods. The experimental results demonstrate that our method is essential in reducing the loss of tile pruning on DNNs. Specifically, the accuracy is improved by up to 17% for AlexNet while 5% for ResNet-34, where both models are pre-trained on ImageNet.
• Abstract（参考訳）: 近年,深層ニューラルネットワーク (DNN) の推論を促進するため,タイルプルーニングが広く研究されている。 しかし, タイルの刈り取りによる損失は, 重要でない要素とともに重要な要素を除去できるため, 訓練済みのdnnでは大きいことがわかった。 本研究では,タイル刈りの損失を低減するため,TileTransと呼ばれるワンショット再パラメータ化手法を提案する。 具体的には、重み行列の行や列を再透過し、再パラメータ化後にモデルアーキテクチャを変更できるようにする。 この再置換は、再トレーニングなしにDNNモデルのパラメータ化を実現する。 提案手法は, 重要な要素を同じタイルに組み合わせることにより, タイル刈り後の重要な要素を保存する。 さらに、TileTransは、既存のほとんどのメソッドと直交するプルーニング前に実行される事前処理メソッドであるため、既存のタイルプルーニングメソッドにシームレスに統合することができる。 実験結果から,本手法はDNNにおけるタイル刈りの損失を低減する上で重要であることが示された。 具体的には、精度はAlexNetでは最大17%向上し、ResNet-34では5%向上した。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Class-Aware Pruning for Efficient Neural Networks [5.918784236241883]
  ディープニューラルネットワーク(DNN)の実行における計算コスト削減のために、プルーニングが導入されている。 本稿では,DNNを圧縮するクラスアウェアプルーニング手法を提案する。 実験結果から, このクラス認識プルーニング技術は, 重量とFLOPを著しく削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-10T13:07:54Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Edge-enhanced Feature Distillation Network for Efficient Super-Resolution [6.245537312562826]
  本稿では,制約資源下での高周波情報を保存するために,EFDNというエッジ強化型特徴蒸留ネットワークを提案する。 我々は、エッジ強化戦略がエッジを維持し、最終的な修復品質を著しく向上することを示します。
  論文  参考訳（メタデータ） (2022-04-19T08:57:35Z)
• Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks [0.9712140341805068]
  刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。 本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
  論文  参考訳（メタデータ） (2021-08-31T10:17:36Z)
• Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
  プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。 構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T04:08:03Z)
• Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural Networks [0.0]
  本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。 良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
  論文  参考訳（メタデータ） (2020-11-13T04:12:54Z)
• Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
  学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。 ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
  論文  参考訳（メタデータ） (2020-11-03T02:57:01Z)
• ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
  本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。 記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。 私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
  論文  参考訳（メタデータ） (2020-07-07T07:56:45Z)
• Learning Nonparametric Human Mesh Reconstruction from a Single Image without Ground Truth Meshes [56.27436157101251]
  そこで本研究では,人間のメッシュ再構築を基礎となる真理メッシュを使わずに学習する手法を提案する。 これはグラフ畳み込みニューラルネットワーク(Graph CNN)の損失関数に2つの新しい用語を導入することで実現される。
  論文  参考訳（メタデータ） (2020-02-28T20:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。