論文の概要: Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps

• arxiv url: http://arxiv.org/abs/2209.02869v1
• Date: Wed, 7 Sep 2022 01:12:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 12:06:35.114312
• Title: Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps
• Title（参考訳）: amortized infered saliency map によるネットワークプルーニングの制御
• Authors: Alireza Ganjdanesh, Shangqian Gao and Heng Huang
• Abstract要約: 限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
• 参考スコア（独自算出の注目度）: 85.49020931411825
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Convolutional Neural Networks (CNNs) compression is crucial to deploying these models in edge devices with limited resources. Existing channel pruning algorithms for CNNs have achieved plenty of success on complex models. They approach the pruning problem from various perspectives and use different metrics to guide the pruning process. However, these metrics mainly focus on the model's `outputs' or `weights' and neglect its `interpretations' information. To fill in this gap, we propose to address the channel pruning problem from a novel perspective by leveraging the interpretations of a model to steer the pruning process, thereby utilizing information from both inputs and outputs of the model. However, existing interpretation methods cannot get deployed to achieve our goal as either they are inefficient for pruning or may predict non-coherent explanations. We tackle this challenge by introducing a selector model that predicts real-time smooth saliency masks for pruned models. We parameterize the distribution of explanatory masks by Radial Basis Function (RBF)-like functions to incorporate geometric prior of natural images in our selector model's inductive bias. Thus, we can obtain compact representations of explanations to reduce the computational costs of our pruning method. We leverage our selector model to steer the network pruning by maximizing the similarity of explanatory representations for the pruned and original models. Extensive experiments on CIFAR-10 and ImageNet benchmark datasets demonstrate the efficacy of our proposed method. Our implementations are available at \url{https://github.com/Alii-Ganjj/InterpretationsSteeredPruning}
• Abstract（参考訳）: 限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 CNNの既存のチャネルプルーニングアルゴリズムは、複雑なモデルで多くの成功を収めている。 彼らは様々な観点からプルーニング問題にアプローチし、異なるメトリクスを使ってプルーニングプロセスを導く。 しかし、これらの指標は主にモデルの「出力」または「重み」に焦点を当て、その「解釈」情報を無視している。 このギャップを埋めるために,モデルの解釈を活用し,モデルの入力と出力の両方の情報を活用することにより,新たな視点からチャネルプルーニング問題に対処することを提案する。 しかし, 既存の解釈手法は, プルーニングの非効率性や非コヒーレントな説明を予測できるため, 我々の目標を達成するために展開できない。 この課題に対して,実時間スムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入する。 我々は,放射基底関数(RBF)様関数による説明マスクの分布をパラメータ化し,自然画像の幾何学的先行をセレクタモデルの帰納バイアスに組み込む。 これにより, 説明のコンパクトな表現を得ることができ, プルーニング法の計算コストを低減できる。 我々はセレクタモデルを利用してネットワークプルーニングを操り、プルーンドモデルとオリジナルモデルとの説明表現の類似性を最大化する。 CIFAR-10とImageNetベンチマークデータセットの大規模な実験により,提案手法の有効性が示された。 我々の実装は \url{https://github.com/Alii-Ganjj/InterpretationsSteeredPruning} で利用可能です。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• Efficient Stein Variational Inference for Reliable Distribution-lossless Network Pruning [23.22021752821507]
  バニラPという新しい分布損失の無い刈り取り法を提案し,ベイズ処理における刈り取り抽選の理論的検討を行った。 本手法は,プルーニングモデルの信頼性を定量化しながら,高性能なスペーサーネットワークを実現する。
  論文  参考訳（メタデータ） (2022-12-07T09:31:47Z)
• A Fair Loss Function for Network Pruning [70.35230425589592]
  本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 CelebA、Fitzpatrick17k、CIFAR-10データセットを用いた実験は、提案手法が単純で効果的なツールであることを実証している。
  論文  参考訳（メタデータ） (2022-11-18T15:17:28Z)
• Towards Accurate Subgraph Similarity Computation via Neural Graph Pruning [22.307526272085024]
  本研究では,グラフプルーニングをノード遅延問題に変換し,それを微分可能な問題に緩和する。 このアイデアに基づいて、サブグラフ編集距離(SED)のタイプを近似する新しいニューラルネットワークを設計する。 モデルの設計では,クエリグラフに関する情報を活用し,対象グラフのプルーニングを誘導するアテンション機構を提案する。
  論文  参考訳（メタデータ） (2022-10-19T15:16:28Z)
• Paoding: Supervised Robustness-preserving Data-free Neural Network Pruning [3.6953655494795776]
  エンフェータフリーコンテキストにおけるニューラルネットワークのプルーニングについて検討する。 従来の攻撃的なワンショット戦略を、プルーニングを進歩的なプロセスとして扱う保守的な戦略に置き換えます。 提案手法は,TextscPaodingというPythonパッケージとして実装され,多様なニューラルネットワークモデルに関する一連の実験により評価された。
  論文  参考訳（メタデータ） (2022-04-02T07:09:17Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• Modeling of Pruning Techniques for Deep Neural Networks Simplification [8.75217589103206]
  畳み込みニューラルネットワーク(CNN)は、計算複雑性やパラメータの数など、さまざまな問題に悩まされている。 近年,CNNにおける操作数やモデルサイズの削減にプルーニング技術が用いられている。 様々なテクニックやトリックがプルーニングメソッドを伴い、すべてのプルーニングメソッドをモデル化する統一的なフレームワークは存在しない。
  論文  参考訳（メタデータ） (2020-01-13T04:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。