論文の概要: Softmax-based Classification is k-means Clustering: Formal Proof,
Consequences for Adversarial Attacks, and Improvement through Centroid Based
Tailoring
- arxiv url: http://arxiv.org/abs/2001.01987v1
- Date: Tue, 7 Jan 2020 11:47:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 20:16:31.978319
- Title: Softmax-based Classification is k-means Clustering: Formal Proof,
Consequences for Adversarial Attacks, and Improvement through Centroid Based
Tailoring
- Title（参考訳）: ソフトマックスに基づく分類はk-平均クラスタリング:形式的証明、敵攻撃の因果関係、セントロイドに基づくテーラーリングによる改善
- Authors: Sibylle Hess, Wouter Duivesteijn, Decebal Mocanu
- Abstract要約: 我々は,k平均クラスタリングと,ソフトマックスアクティベーション層に基づくニューラルネットワークの予測の関連性を証明する。
ニューラルネットワークの最後の層におけるソフトマックス関数の代替として,Centroid Based Tailoringを提案する。
- 参考スコア（独自算出の注目度）: 3.0724051098062097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We formally prove the connection between k-means clustering and the
predictions of neural networks based on the softmax activation layer. In
existing work, this connection has been analyzed empirically, but it has never
before been mathematically derived. The softmax function partitions the
transformed input space into cones, each of which encompasses a class. This is
equivalent to putting a number of centroids in this transformed space at equal
distance from the origin, and k-means clustering the data points by proximity
to these centroids. Softmax only cares in which cone a data point falls, and
not how far from the centroid it is within that cone. We formally prove that
networks with a small Lipschitz modulus (which corresponds to a low
susceptibility to adversarial attacks) map data points closer to the cluster
centroids, which results in a mapping to a k-means-friendly space. To leverage
this knowledge, we propose Centroid Based Tailoring as an alternative to the
softmax function in the last layer of a neural network. The resulting Gauss
network has similar predictive accuracy as traditional networks, but is less
susceptible to one-pixel attacks; while the main contribution of this paper is
theoretical in nature, the Gauss network contributes empirical auxiliary
benefits.
- Abstract（参考訳）: 我々は,k平均クラスタリングと,ソフトマックスアクティベーション層に基づくニューラルネットワークの予測との関係を正式に証明する。
既存の研究では、この関係は経験的に分析されてきたが、数学的に導出されたことは一度もない。
softmax関数は変換された入力空間をコーンに分割し、それぞれがクラスを包含する。
これは、この変換された空間を原点から等距離に配置することと同値であり、k平均はこれらの中心点に近接してデータポイントをクラスタリングする。
ソフトマックスは、データポイントが落ちる円錐のみを気にし、その円錐内にあるセンチロイドからの距離を気にしません。
我々は、小さなリプシッツモジュラス(敵の攻撃に対する感受性が低い)を持つネットワークが、クラスタの遠心部に近いデータポイントをマッピングすることで、k-meansフレンドリーな空間へのマッピングが可能になることを正式に証明する。
この知識を活用するために,ニューラルネットワークの最後の層におけるソフトマックス関数の代替として,Centroid Based Tailoringを提案する。
ガウスネットワークは従来のネットワークと同様の予測精度を持つが、1ピクセル攻撃の影響を受けにくい。
関連論文リスト
- Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T08:59:51Z) - Fuzzy K-Means Clustering without Cluster Centroids [21.256564324236333]
ファジィK平均クラスタリングは教師なしデータ分析において重要な手法である。
本稿では,クラスタセントロイドへの依存を完全に排除する,ファジィテクストK-Meansクラスタリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-07T12:25:03Z) - Feature Selection using Sparse Adaptive Bottleneck Centroid-Encoder [1.2487990897680423]
2つ以上のクラスで識別される特徴を決定するために,新しい非線形モデル SABCE (Sparse Adaptive Bottleneckid-Encoder) を導入する。
このアルゴリズムは、高次元生物学的、画像、音声、加速度センサデータなど、様々な実世界のデータセットに適用される。
論文 参考訳（メタデータ） (2023-06-07T21:37:21Z) - Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。
機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。
我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文 参考訳（メタデータ） (2023-01-03T13:51:51Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Clustering by the Probability Distributions from Extreme Value Theory [32.496691290725764]
本稿では,クラスタの分布をモデル化するためにk-meansを一般化する。
GPDを用いて各クラスタの確率モデルを確立する。
我々はまた、GEV (Generalized Extreme Value) k-means(一般化極値)(GEV)と呼ばれる単純なベースラインも導入する。
特に、GEV k-平均はクラスタ構造を推定することもでき、したがって古典的なk-平均に対して合理的に振る舞うことができる。
論文 参考訳（メタデータ） (2022-02-20T10:52:43Z) - A Modular Framework for Centrality and Clustering in Complex Networks [0.6423239719448168]
本稿では,集中度とクラスタリングという2つの重要なネットワーク解析手法について検討する。
クラスタリングには情報フローベースのモデルが採用されている。
我々のクラスタリングは、エッジウェイトとノードの度合いの異なる解釈と相互作用と同様に、エッジ指向性に対応する柔軟性を自然に継承する。
論文 参考訳（メタデータ） (2021-11-23T03:01:29Z) - Density-Based Clustering with Kernel Diffusion [59.4179549482505]
単位$d$次元ユークリッド球のインジケータ関数に対応するナイーブ密度は、密度に基づくクラスタリングアルゴリズムで一般的に使用される。
局所分布特性と滑らかさの異なるデータに適応する新しいカーネル拡散密度関数を提案する。
論文 参考訳（メタデータ） (2021-10-11T09:00:33Z) - Hyperdimensional Computing for Efficient Distributed Classification with
Randomized Neural Networks [5.942847925681103]
本研究では,データを中央に保存することも共有することもできない状況下で利用できる分散分類について検討する。
ローカルな分類器を他のエージェントと共有する場合に、ロッキーな圧縮アプローチを適用することにより、分散分類のためのより効率的な解を提案する。
論文 参考訳（メタデータ） (2021-06-02T01:33:56Z) - Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。
本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
論文 参考訳（メタデータ） (2020-09-21T14:46:01Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。