論文の概要: Prototype-based interpretation of the functionality of neurons in
winner-take-all neural networks
- arxiv url: http://arxiv.org/abs/2008.08750v1
- Date: Thu, 20 Aug 2020 03:15:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 02:49:43.947099
- Title: Prototype-based interpretation of the functionality of neurons in
winner-take-all neural networks
- Title(参考訳): ニューラルネットワークにおけるニューロンの機能の原型に基づく解釈
- Authors: Ramin Zarei Sabzevar, Kamaledin Ghiasi-Shirazi, Ahad Harati
- Abstract要約: 最小ユークリッド距離(ED-WTA)に基づくWTAネットワークを用いたPbL(Prototype-based Learning)は,マルチクラス分類における直感的なアプローチである。
正と負のプロトタイプの更新を巧みに切り替える,$pm$ED-WTAネットワークのための新しいトレーニングアルゴリズムを提案する。
提案した$pm$ED-WTA法は,高い解釈可能なプロトタイプを構築できることを示す。
- 参考スコア(独自算出の注目度): 1.418033127602866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prototype-based learning (PbL) using a winner-take-all (WTA) network based on
minimum Euclidean distance (ED-WTA) is an intuitive approach to multiclass
classification. By constructing meaningful class centers, PbL provides higher
interpretability and generalization than hyperplane-based learning (HbL)
methods based on maximum Inner Product (IP-WTA) and can efficiently detect and
reject samples that do not belong to any classes. In this paper, we first prove
the equivalence of IP-WTA and ED-WTA from a representational point of view.
Then, we show that naively using this equivalence leads to unintuitive ED-WTA
networks in which the centers have high distances to data that they represent.
We propose $\pm$ED-WTA which models each neuron with two prototypes: one
positive prototype representing samples that are modeled by this neuron and a
negative prototype representing the samples that are erroneously won by that
neuron during training. We propose a novel training algorithm for the
$\pm$ED-WTA network, which cleverly switches between updating the positive and
negative prototypes and is essential to the emergence of interpretable
prototypes. Unexpectedly, we observed that the negative prototype of each
neuron is indistinguishably similar to the positive one. The rationale behind
this observation is that the training data that are mistaken with a prototype
are indeed similar to it. The main finding of this paper is this interpretation
of the functionality of neurons as computing the difference between the
distances to a positive and a negative prototype, which is in agreement with
the BCM theory. In our experiments, we show that the proposed $\pm$ED-WTA
method constructs highly interpretable prototypes that can be successfully used
for detecting outlier and adversarial examples.
- Abstract(参考訳): 最小ユークリッド距離(ED-WTA)に基づくWTAネットワークを用いたPbL(Prototype-based Learning)は,マルチクラス分類における直感的なアプローチである。
意味のあるクラス中心を構築することで、PbLは最大内部積(IP-WTA)に基づく超平面学習法よりも高い解釈可能性と一般化を提供し、どのクラスにも属さないサンプルを効率的に検出および拒絶することができる。
本稿ではまず,IP-WTA と ED-WTA の等価性を表現的観点から証明する。
そして,この等価性は,中心が表現するデータと高い距離を持つ非直観的なed-wtaネットワークに繋がることを示す。
我々は、各ニューロンを2つのプロトタイプでモデル化する$\pm$ed-wtaを提案する。1つの正のプロトタイプは、このニューロンによってモデル化されたサンプルを表し、もう1つはトレーニング中にそのニューロンに誤って勝利したサンプルを表す負のプロトタイプである。
我々は, 正と負のプロトタイプの更新を巧みに切り替える$\pm$ED-WTAネットワークのための新しいトレーニングアルゴリズムを提案し, 解釈可能なプロトタイプの出現に不可欠である。
予期せぬ結果, 各ニューロンの負の原型は, 正の原型と相違なく類似していることがわかった。
この観察の背景にある理論的根拠は、プロトタイプと間違えたトレーニングデータと実際に類似しているということだ。
本論文の主な発見は、bcm理論と一致する正のプロトタイプと負のプロトタイプとの差を計算することとしてのニューロンの機能のこの解釈である。
実験の結果,提案した$\pm$ED-WTA法は,外乱や逆のサンプルの検出に有効である,高度に解釈可能なプロトタイプを構築した。
関連論文リスト
- Out-of-Distribution Detection using Neural Activation Prior [15.777262831603688]
アウト・オブ・ディストリビューション検出(OOD)は、機械学習モデルを現実世界にデプロイする上で重要な技術である。
OOD検出のためのシンプルで効果的なニューラルアクティベーションプリミティブ(NAP)を提案する。
提案手法は,CIFARベンチマークとImageNetデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-28T08:45:07Z) - Learning with Mixture of Prototypes for Out-of-Distribution Detection [25.67011646236146]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングデータから遠く離れたテストサンプルを検出することを目的としている。
サンプルの多様性を捉えるために,各クラスを複数のプロトタイプでモデル化したプロトタイプ混在型学習法(PALM)を提案する。
提案手法はCIFAR-100ベンチマークにおいて93.82の最先端平均AUROC性能を実現する。
論文 参考訳(メタデータ) (2024-02-05T00:52:50Z) - Rethinking Person Re-identification from a Projection-on-Prototypes
Perspective [84.24742313520811]
検索タスクとしてのPerson Re-IDentification(Re-ID)は,過去10年間で大きな発展を遂げてきた。
本稿では,新しいベースライン ProNet を提案する。
4つのベンチマークの実験では、提案したProNetは単純だが有効であり、以前のベースラインを大きく上回っている。
論文 参考訳(メタデータ) (2023-08-21T13:38:10Z) - Stochastic Deep Networks with Linear Competing Units for Model-Agnostic
Meta-Learning [4.97235247328373]
本研究は,LWTA(Local winner-takes-all)アクティベーションを伴うディープネットワークを考慮したメタラーニング(ML)に対処する。
このタイプのネットワークユニットは、ユニットが1つのユニットだけがゼロでない出力を生成するブロックに編成されるため、各モデルレイヤからスパース表現が生成される。
提案手法は,数ショット画像の分類と回帰実験における最先端の予測精度と,アクティブな学習環境における予測誤差の低減を実現する。
論文 参考訳(メタデータ) (2022-08-02T16:19:54Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳(メタデータ) (2022-06-17T04:07:45Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-05-18T05:43:06Z) - Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。
我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。
この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
論文 参考訳(メタデータ) (2022-03-28T21:15:32Z) - Dual Prototypical Contrastive Learning for Few-shot Semantic
Segmentation [55.339405417090084]
本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。
第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。
提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-09T08:14:50Z) - Prototype Completion for Few-Shot Learning [13.63424509914303]
少数ショット学習は、いくつかの例で新しいクラスを認識することを目的としている。
事前学習に基づく手法は,特徴抽出器を事前学習し,最寄りのセントロイド型メタラーニングを通して微調整することで,この問題に効果的に対処する。
本稿では,完成度に基づくメタラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-11T03:44:00Z) - ProtoryNet - Interpretable Text Classification Via Prototype
Trajectories [4.768286204382179]
本稿では,ProtoryNetと呼ばれるテキスト分類のための新しい解釈可能なディープニューラルネットワークを提案する。
ProtoryNetはテキストシーケンスで各文の最も類似したプロトタイプを見つけることによって予測を行う。
プロトタイプのプルーニングの後、結果のProtoryNetモデルは、すべてのデータセットに対して、20のプロトタイプしか必要としない。
論文 参考訳(メタデータ) (2020-07-03T16:00:26Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳(メタデータ) (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。