論文の概要: SPADE: Sparsity-Guided Debugging for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2310.04519v2
• Date: Fri, 19 Jul 2024 08:53:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 00:26:14.125774
• Title: SPADE: Sparsity-Guided Debugging for Deep Neural Networks
• Title（参考訳）: SPADE: ディープニューラルネットワークのための疎結合型デバッグ
• Authors: Arshia Soltani Moakhar, Eugenia Iofinova, Elias Frantar, Dan Alistarh,
• Abstract要約: サンプル固有の前処理ステップとして,スパーシリティを解釈プロセス自体に組み込むことができることを示す。 SPADEと呼ばれるこのアプローチは、トレーニングされたモデルに制約を課さず、サンプルの推論中にその振る舞いに影響を与えない。 本研究では,SPADEが複数の解釈可能性手法間で画像塩分マップの精度を著しく向上させることを示した。
• 参考スコア（独自算出の注目度）: 46.33767395637177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is known that sparsity can improve interpretability for deep neural networks. However, existing methods in the area either require networks that are pre-trained with sparsity constraints, or impose sparsity after the fact, altering the network's general behavior. In this paper, we demonstrate, for the first time, that sparsity can instead be incorporated into the interpretation process itself, as a sample-specific preprocessing step. Unlike previous work, this approach, which we call SPADE, does not place constraints on the trained model and does not affect its behavior during inference on the sample. Given a trained model and a target sample, SPADE uses sample-targeted pruning to provide a "trace" of the network's execution on the sample, reducing the network to the most important connections prior to computing an interpretation. We demonstrate that preprocessing with SPADE significantly increases the accuracy of image saliency maps across several interpretability methods. Additionally, SPADE improves the usefulness of neuron visualizations, aiding humans in reasoning about network behavior. Our code is available at https://github.com/IST-DASLab/SPADE.
• Abstract（参考訳）: 疎性はディープニューラルネットワークの解釈可能性を向上させることが知られている。 しかし、既存の手法では、空間的制約で事前訓練されたネットワークを必要とするか、あるいはその後に空間的制約を課すか、ネットワークの一般的な振る舞いを変化させる必要がある。 本稿では,まず,サンプル固有の前処理ステップとして,スパーシリティを解釈プロセス自体に組み込むことを実証する。 従来の作業とは異なり、SPADEと呼ばれるこのアプローチは、トレーニングされたモデルに制約を課さず、サンプルの推論中にその振る舞いに影響を与えない。 トレーニングされたモデルとターゲットサンプルが与えられた後、SPADEはサンプルターゲットプルーニングを使用して、サンプル上でのネットワークの実行の"トレース"を提供し、解釈を計算する前にネットワークを最も重要なコネクションに減らした。 本研究では,SPADEによる事前処理により,複数の解釈可能性手法による画像の解像度マップの精度が著しく向上することが実証された。 さらに、SPADEはニューロンの可視化の有用性を改善し、人間のネットワーク行動の推論を支援する。 私たちのコードはhttps://github.com/IST-DASLab/SPADE.comで公開されています。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Out-of-Distribution Example Detection in Deep Neural Networks using Distance to Modelled Embedding [0.0]
  予測時間における分布外例の検出に使用するDIME(Distance to Modelled Embedding)を提案する。 線形超平面として特徴空間に埋め込まれたトレーニングセットを近似することにより、単純で教師なし、高性能で計算効率の良い手法を導出する。
  論文  参考訳（メタデータ） (2021-08-24T12:28:04Z)
• Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
  本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。 サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。 本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T15:46:50Z)
• HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
  ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。 提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。 トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
  論文  参考訳（メタデータ） (2020-08-24T04:08:48Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。