論文の概要: Differentiable Transportation Pruning

• arxiv url: http://arxiv.org/abs/2307.08483v1
• Date: Mon, 17 Jul 2023 13:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 13:04:10.811700
• Title: Differentiable Transportation Pruning
• Title（参考訳）: 異種輸送プルーニング
• Authors: Yunqiang Li, Jan C. van Gemert, Torsten Hoefler, Bert Moons, Evangelos Eleftheriou, Bram-Ernst Verhoef
• Abstract要約: プルーニングメソッドは、ストレージ、計算、メモリ帯域幅、エネルギー使用量を改善するため、エッジデプロイメントのキーとなるツールである。 本稿では,出力ネットワークサイズを正確に制御できる新しいプルーニング手法を提案する。 提案手法は,従来の3つの異なるデータセットにおけるプルーニング手法と比較して,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 23.766356215156488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning algorithms are increasingly employed at the edge. However, edge devices are resource constrained and thus require efficient deployment of deep neural networks. Pruning methods are a key tool for edge deployment as they can improve storage, compute, memory bandwidth, and energy usage. In this paper we propose a novel accurate pruning technique that allows precise control over the output network size. Our method uses an efficient optimal transportation scheme which we make end-to-end differentiable and which automatically tunes the exploration-exploitation behavior of the algorithm to find accurate sparse sub-networks. We show that our method achieves state-of-the-art performance compared to previous pruning methods on 3 different datasets, using 5 different models, across a wide range of pruning ratios, and with two types of sparsity budgets and pruning granularities.
• Abstract（参考訳）: ディープラーニングアルゴリズムは、エッジでますます採用されている。 しかし、エッジデバイスはリソースに制約があり、ディープニューラルネットワークの効率的な展開が必要である。 プルーニングメソッドは、ストレージ、計算、メモリ帯域幅、エネルギー使用量を改善するため、エッジデプロイメントのキーとなるツールである。 本稿では,出力ネットワークサイズを高精度に制御可能な高精度プルーニング手法を提案する。 本手法では,エンド・ツー・エンドの微分を可能とし,アルゴリズムの探索・探索挙動を自動的に調整し,正確なスパースサブネットワークを求める効率的な最適輸送方式を用いる。 提案手法は,従来の3つの異なるデータセットにおけるプルーニング法と比較して,幅広いプルーニング比で5つの異なるモデルを用いて,2種類のスパルシティ予算とプルーニング粒度を用いて,最先端の性能を実現する。

関連論文リスト

• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Block Pruning for Enhanced Efficiency in Convolutional Neural Networks [7.110116320545541]
  本稿では,エッジコンピューティング環境におけるディープニューラルネットワークにおけるブロックプルーニングを対象とする,ネットワークプルーニングに対する新しいアプローチを提案する。 提案手法は,プロキシメトリクスを利用する従来の手法とは異なっており,直接ブロック除去手法を用いて分類精度への影響を評価する。
  論文  参考訳（メタデータ） (2023-12-28T08:54:48Z)
• A Framework and Benchmark for Deep Batch Active Learning for Regression [2.093287944284448]
  ラベル付きデータのバッチを適応的に選択する能動的学習法について検討した。 本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。 提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
  論文  参考訳（メタデータ） (2022-03-17T16:11:36Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
  本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。 本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-05-18T17:57:09Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。