論文の概要: Revisiting Gaussian Neurons for Online Clustering with Unknown Number of Clusters

• arxiv url: http://arxiv.org/abs/2205.00920v1
• Date: Mon, 2 May 2022 14:01:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 14:31:28.692497
• Title: Revisiting Gaussian Neurons for Online Clustering with Unknown Number of Clusters
• Title（参考訳）: 未知数のクラスタによるオンラインクラスタリングのためのガウスニューロンの再検討
• Authors: Ole Christian Eidheim
• Abstract要約: 参照するクラスタ数の最大限のオンラインクラスタリングを行う、新しいローカルラーニングルールが提示される。 実験結果は,学習パラメータの安定性を多数のトレーニングサンプルで実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent success of artificial neural networks, more biologically plausible learning methods may be needed to resolve the weaknesses of backpropagation trained models such as catastrophic forgetting and adversarial attacks. A novel local learning rule is presented that performs online clustering with a maximum limit of the number of cluster to be found rather than a fixed cluster count. Instead of using orthogonal weight or output activation constraints, activation sparsity is achieved by mutual repulsion of lateral Gaussian neurons ensuring that multiple neuron centers cannot occupy the same location in the input domain. An update method is also presented for adjusting the widths of the Gaussian neurons in cases where the data samples can be represented by means and variances. The algorithms were applied on the MNIST and CIFAR-10 datasets to create filters capturing the input patterns of pixel patches of various sizes. The experimental results demonstrate stability in the learned parameters across a large number of training samples.
• Abstract（参考訳）: 最近のニューラルネットワークの成功にもかかわらず、破滅的な忘れや逆境攻撃のようなバックプロパゲーション訓練モデルの弱点を解決するには、より生物学的に妥当な学習方法が必要である。 クラスタ数を固定するのではなく,クラスタ数を最大に制限してオンラインクラスタリングを行う,新たなローカル学習ルールが提案されている。 直交重みや出力活性化の制約を用いる代わりに、活性化スパーシティは、複数のニューロン中心が入力領域内の同じ位置を占有できないよう、外側ガウスニューロンの相互反発によって達成される。 また、データサンプルを手段とばらつきで表現できる場合に、ガウスニューロンの幅を調整するための更新方法も提示する。 アルゴリズムはMNISTとCIFAR-10データセットに応用され、様々なサイズのピクセルパッチの入力パターンをキャプチャするフィルタを生成する。 実験の結果,多数のトレーニングサンプルにおける学習パラメータの安定性が示された。

関連論文リスト

• Diagonal Symmetrization of Neural Network Solvers for the Many-Electron Schrödinger Equation [11.202098800341096]
  我々は,モンテカルロ変分法を用いて学習したニューラルネットワークアンスに,対角的不変性を導入する様々な方法について検討した。 標準のMLセットアップとは対照的に、トレーニング中の対称性はトレーニングを不安定にし、パフォーマンスを悪化させる可能性があることを示す。 我々の理論的および数値的な結果は、この予期せぬ挙動は、シンメトリゼーションの標準ML解析では見つからないユニークな計算統計的トレードオフから生じる可能性があることを示唆している。
  論文  参考訳（メタデータ） (2025-02-07T20:37:25Z)
• Nonlinear subspace clustering by functional link neural networks [20.972039615938193]
  フィードフォワードニューラルネットワークに基づくサブスペースクラスタリングは、いくつかの高度なサブスペースクラスタリングアルゴリズムよりも優れたクラスタリング精度を提供することを示した。 我々は,データサンプルを非線形領域に変換するために,関数型リンクニューラルネットワークを用いる。 本稿では,線形サブスペースクラスタリング手法と関数型リンクニューラルネットワークサブスペースクラスタリング手法を組み合わせた凸結合サブスペースクラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-03T06:01:21Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Local Extreme Learning Machines and Domain Decomposition for Solving Linear and Nonlinear Partial Differential Equations [0.0]
  本稿では線形偏微分方程式と非線形偏微分方程式の解法を提案する。 この手法は、極端学習機械(ELM)、ドメイン分解、局所ニューラルネットワークのアイデアを組み合わせたものである。 本稿では,DGM法(Deep Galerkin Method)とPINN(Physical-informed Neural Network)を精度と計算コストの観点から比較する。
  論文  参考訳（メタデータ） (2020-12-04T23:19:39Z)
• NN-EVCLUS: Neural Network-based Evidential Clustering [6.713564212269253]
  本稿では,NN-EVCLUSと呼ばれるニューラルネットワークに基づく明確なクラスタリングアルゴリズムを提案する。 属性ベクトルから質量関数への写像を学習し、より類似した入力がより低い競合度を持つ質量関数の出力にマッピングされるようにする。 ネットワークは、すべてのオブジェクトまたはいくつかのオブジェクトペアの相違点と相反点の差を最小限に抑えるように訓練されている。
  論文  参考訳（メタデータ） (2020-09-27T09:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。