論文の概要: Magnitude Attention-based Dynamic Pruning

• arxiv url: http://arxiv.org/abs/2306.05056v1
• Date: Thu, 8 Jun 2023 09:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 15:14:53.700926
• Title: Magnitude Attention-based Dynamic Pruning
• Title（参考訳）: マグニチュードアテンションに基づく動的プルーニング
• Authors: Jihye Back, Namhyuk Ahn, Jangho Kim
• Abstract要約: 既存の刈り取り法では, スパース構造探索時にのみ, 所定の基準に基づいて各重量の重要性を生かしているが, 訓練中は利用しない。 提案手法は,スパルスモデル構造を動的に探索するために,前方と後方の両方で重みの重み付けを重要視する -textbfMagnitude textbfAttention-based Dynamic textbfPruning (MAP) 手法である。
• 参考スコア（独自算出の注目度）: 12.141508661873672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing pruning methods utilize the importance of each weight based on specified criteria only when searching for a sparse structure but do not utilize it during training. In this work, we propose a novel approach - \textbf{M}agnitude \textbf{A}ttention-based Dynamic \textbf{P}runing (MAP) method, which applies the importance of weights throughout both the forward and backward paths to explore sparse model structures dynamically. Magnitude attention is defined based on the magnitude of weights as continuous real-valued numbers enabling a seamless transition from a redundant to an effective sparse network by promoting efficient exploration. Additionally, the attention mechanism ensures more effective updates for important layers within the sparse network. In later stages of training, our approach shifts from exploration to exploitation, exclusively updating the sparse model composed of crucial weights based on the explored structure, resulting in pruned models that not only achieve performance comparable to dense models but also outperform previous pruning methods on CIFAR-10/100 and ImageNet.
• Abstract（参考訳）: 既存の刈り取り法では, スパース構造探索時にのみ, 所定の基準に基づいて各重量の重要性を生かしているが, 訓練中は利用しない。 本研究では,前後の経路で重み付けを重要視し,スパースモデル構造を動的に探索する,新しいアプローチであるアプローチ\textbf{M}agnitude \textbf{A}ttention-based Dynamic \textbf{P}runing (MAP)法を提案する。 マグニチュードの注意は、効率的な探索を促進することによって、冗長から効果的なスパースネットワークへのシームレスな遷移を可能にする連続実数値として、重みの大きさに基づいて定義される。 さらに、アテンションメカニズムはスパースネットワーク内の重要なレイヤのより効率的な更新を保証する。 実験の後期段階において,本手法は探索から搾取へ移行し,探索構造に基づく重要な重みからなるスパースモデルのみを更新し,高密度モデルに匹敵する性能を得るだけでなく,CIFAR-10/100とImageNetの以前の刈り出し手法よりも優れた性能を発揮する。

関連論文リスト

• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Learning Cross-view Geo-localization Embeddings via Dynamic Weighted Decorrelation Regularization [52.493240055559916]
  クロスビュージオローカライゼーションは、ドローンプラットフォームと衛星プラットフォームという2つのプラットフォームから撮影された同じ位置の画像を見つけることを目的としている。 既存の手法は、通常、特徴空間内の他のものとの埋め込み距離を最適化することに焦点を当てる。 本稿では、低冗長性も重要であり、モデルがより多様なパターンをマイニングする動機となっていると論じる。
  論文  参考訳（メタデータ） (2022-11-10T02:13:10Z)
• Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach [4.284071491453377]
  我々は、新しい非構造化プルーニングパイプライン、注意に基づく同時スパース構造と重み学習(ASWL)を提案する。 ASWLは, 各層毎の層単位でのプルーニング比を計算する効率的なアルゴリズムを提案し, 密集ネットワークとスパースネットワークの重みをランダムな重みから同時に学習するように追従する。 MNIST, Cifar10, ImageNet を用いた実験により, ASWL は精度, プルーニング率, 運転効率の点で, 優れたプルーニング結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-11-01T02:27:44Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Towards Structured Dynamic Sparse Pre-Training of BERT [4.567122178196833]
  BERT言語モデリングタスクのための、単純で動的で、常にスパースな事前学習手法を開発し、研究する。 粗い粒度のブロック間隔を使用する場合、トレーニングはFLOP効率を保ち、現代のハードウェアアクセラレーター上での効率的な実行を特に有望であることを示す。
  論文  参考訳（メタデータ） (2021-08-13T14:54:26Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。