論文の概要: Leveraging Sparse Linear Layers for Debuggable Deep Networks
- arxiv url: http://arxiv.org/abs/2105.04857v1
- Date: Tue, 11 May 2021 08:15:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 14:05:44.403761
- Title: Leveraging Sparse Linear Layers for Debuggable Deep Networks
- Title(参考訳): Debuggable Deep Network のためのスパース線形層の利用
- Authors: Eric Wong, Shibani Santurkar, Aleksander M\k{a}dry
- Abstract要約: 学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。
その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
- 参考スコア(独自算出の注目度): 86.94586860037049
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show how fitting sparse linear models over learned deep feature
representations can lead to more debuggable neural networks. These networks
remain highly accurate while also being more amenable to human interpretation,
as we demonstrate quantiatively via numerical and human experiments. We further
illustrate how the resulting sparse explanations can help to identify spurious
correlations, explain misclassifications, and diagnose model biases in vision
and language tasks. The code for our toolkit can be found at
https://github.com/madrylab/debuggabledeepnetworks.
- Abstract(参考訳): 学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。
これらのネットワークは、数値と人間の実験を通して定量的に示すように、人間の解釈に適している一方で、非常に正確である。
さらに,結果として生じるスパース説明は,スパース相関の同定,誤分類の説明,視覚や言語タスクにおけるモデルのバイアスの診断にどのように役立つかを示す。
ツールキットのコードはhttps://github.com/madrylab/debuggabledeepnetworks.orgにある。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳(メタデータ) (2024-06-24T14:50:05Z) - Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
人間は簡潔で直感的な説明を使って予測を説明することができる。
特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
論文 参考訳(メタデータ) (2023-06-29T00:24:42Z) - Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。
空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
論文 参考訳(メタデータ) (2022-06-24T14:26:33Z) - Contrasting random and learned features in deep Bayesian linear
regression [12.234742322758418]
本研究では,学習能力が単純なモデルの一般化性能に与える影響について検討する。
すべての層が訓練されたディープネットワークと比較することにより、幅、深さ、データ密度、事前のミスマッチの相互作用を詳細に解析する。
論文 参考訳(メタデータ) (2022-03-01T15:51:29Z) - A Light-weight Interpretable CompositionalNetwork for Nuclei Detection
and Weakly-supervised Segmentation [10.196621315018884]
ディープニューラルネットワークは通常、膨大なパラメータをトレーニングするために大量の注釈付きデータを必要とする。
我々は,特に孤立した核に部分的なアノテーションを必要とするデータ効率モデルを構築することを提案する。
論文 参考訳(メタデータ) (2021-10-26T16:44:08Z) - Dive into Layers: Neural Network Capacity Bounding using Algebraic
Geometry [55.57953219617467]
ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。
入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。
実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
論文 参考訳(メタデータ) (2021-09-03T11:45:51Z) - Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。
サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。
本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-11T15:46:50Z) - An Introduction to Robust Graph Convolutional Networks [71.68610791161355]
本論文では, 誤りのある単一ビューあるいは複数ビューのデータに対して, 新たなロバストグラフ畳み込みニューラルネットワークを提案する。
従来のグラフ畳み込みネットワークにAutoencodersを介して余分なレイヤを組み込むことで、典型的なエラーモデルを明示的に特徴付けおよび処理します。
論文 参考訳(メタデータ) (2021-03-27T04:47:59Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳(メタデータ) (2021-01-31T11:32:30Z) - Learning Parities with Neural Networks [45.6877715768796]
本質的に非線形であるモデルのリーン性を示すための一歩を踏み出します。
特定の分布下では、疎パリティは深さ2のネットワーク上で適切な勾配によって学習可能であることを示す。
論文 参考訳(メタデータ) (2020-02-18T06:44:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。