論文の概要: Attribution Preservation in Network Compression for Reliable Network Interpretation

• arxiv url: http://arxiv.org/abs/2010.15054v1
• Date: Wed, 28 Oct 2020 16:02:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 04:26:24.806124
• Title: Attribution Preservation in Network Compression for Reliable Network Interpretation
• Title（参考訳）: 信頼性の高いネットワーク解釈のためのネットワーク圧縮における帰属保存
• Authors: Geondo Park, June Yong Yang, Sung Ju Hwang, Eunho Yang
• Abstract要約: 安全に敏感なアプリケーションに埋め込まれたニューラルネットワークは、エッジ計算のサイズを減らすために、後向きの分析とネットワーク圧縮に入力属性に依存する。 ネットワーク圧縮が生成した属性を変形させるため,これらの非関係な手法が相互に競合することを示す。 この現象は、従来のネットワーク圧縮手法が、属性の品質を無視しながら、ネットワークの予測のみを保存するという事実から生じる。
• 参考スコア（独自算出の注目度）: 81.84564694303397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks embedded in safety-sensitive applications such as self-driving cars and wearable health monitors rely on two important techniques: input attribution for hindsight analysis and network compression to reduce its size for edge-computing. In this paper, we show that these seemingly unrelated techniques conflict with each other as network compression deforms the produced attributions, which could lead to dire consequences for mission-critical applications. This phenomenon arises due to the fact that conventional network compression methods only preserve the predictions of the network while ignoring the quality of the attributions. To combat the attribution inconsistency problem, we present a framework that can preserve the attributions while compressing a network. By employing the Weighted Collapsed Attribution Matching regularizer, we match the attribution maps of the network being compressed to its pre-compression former self. We demonstrate the effectiveness of our algorithm both quantitatively and qualitatively on diverse compression methods.
• Abstract（参考訳）: 自動運転車やウェアラブル健康モニターなどの安全に敏感なアプリケーションに埋め込まれたニューラルネットワークは、2つの重要な技術に依存している。 本稿では,これらの一見無関係な手法が,ネットワーク圧縮が生成した帰属を変形させるため,ミッションクリティカルなアプリケーションに対して悲惨な結果をもたらす可能性があることを示す。 この現象は、従来のネットワーク圧縮手法が、帰属の品質を無視しながら、ネットワークの予測のみを保存するという事実から生じる。 帰属不整合問題を解決するために,ネットワークを圧縮しながら帰属を保存できる枠組みを提案する。 重み付き分解アトリビューションマッチング正則化器を用いることで、ネットワークの帰属マップが圧縮された前圧縮前の自己と一致する。 本アルゴリズムは,様々な圧縮法において定量的かつ定性的に有効性を示す。

関連論文リスト

• Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of Conjugate Variables in System Attacks [54.565579874913816]
  ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。 この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
  論文  参考訳（メタデータ） (2024-02-16T02:11:27Z)
• Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
  本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。 我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。 実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-25T08:11:27Z)
• Understanding the effect of sparsity on neural networks robustness [32.15505923976003]
  本稿では,静的空間がトレーニングネットワークの強靭性に及ぼす影響について検討する。 ネットワークの容量を一定に保ちながら、ネットワークの幅と深さを増大させ、ネットワークの幅を一定に保ち、初期の高密度バージョンよりも良くすることを示す。
  論文  参考訳（メタデータ） (2022-06-22T08:51:40Z)
• A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation [37.525277809849776]
  モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。 圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。 また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T20:10:35Z)
• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• On the Compression of Neural Networks Using $\ell_0$-Norm Regularization and Weight Pruning [0.9821874476902968]
  本稿では,ニューラルネットワークのための新しい圧縮スキームの開発に焦点をあてる。 トレーニング中にネットワークに強いスパース性を誘導できる新たな正規化方式が最初に開発された。 提案手法では、オーバーフィッティングを回避するために$ell$-norm正規化と、プルーンドネットワークの性能向上のための微調整も含む。
  論文  参考訳（メタデータ） (2021-09-10T19:19:42Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks [9.554646174100123]
  本研究では, 勾配降下学習アルゴリズムの力学が圧縮性ネットワークの獲得に重要な役割を担っていることを示す。 我々は,ネットワークが「$ell_p$-compressible」であることが保証され,ネットワークサイズが大きくなるにつれて,異なるプルーニング手法の圧縮誤差が任意に小さくなることを示す。
  論文  参考訳（メタデータ） (2021-06-07T17:02:59Z)
• Optimal Network Compression [0.0]
  本稿では,金融システムにおける最適ネットワーク圧縮問題の定式化について述べる。 我々は,金融ネットワークのショック下でのシステム的リスク対策によって生成される客観的機能に注目した。 本稿では,特定ネットワークに対する最適圧縮問題について検討する。
  論文  参考訳（メタデータ） (2020-08-20T02:11:23Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。