論文の概要: Self-Organising Neural Discrete Representation Learning à la Kohonen

• arxiv url: http://arxiv.org/abs/2302.07950v2
• Date: Mon, 8 Jul 2024 19:47:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 00:50:53.087861
• Title: Self-Organising Neural Discrete Representation Learning à la Kohonen
• Title（参考訳）: 自己組織型神経離散表現学習
• Authors: Kazuki Irie, Róbert Csordás, Jürgen Schmidhuber,
• Abstract要約: 自己組織化マップ(KSOM)のためのコホーネンの学習規則に基づく代替ベクトル量子化(VQ)アルゴリズムについて検討する。 実験では, 十分に構成されたEMA-VQと比較して, トレーニング開始時にのみ, スピードアップが観察可能である。
• 参考スコア（独自算出の注目度）: 42.710124929514066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised learning of discrete representations in neural networks (NNs) from continuous ones is essential for many modern applications. Vector Quantisation (VQ) has become popular for this, in particular in the context of generative models, such as Variational Auto-Encoders (VAEs), where the exponential moving average-based VQ (EMA-VQ) algorithm is often used. Here, we study an alternative VQ algorithm based on Kohonen's learning rule for the Self-Organising Map (KSOM; 1982). EMA-VQ is a special case of KSOM. KSOM is known to offer two potential benefits: empirically, it converges faster than EMA-VQ, and KSOM-generated discrete representations form a topological structure on the grid whose nodes are the discrete symbols, resulting in an artificial version of the brain's topographic map. We revisit these properties by using KSOM in VQ-VAEs for image processing. In our experiments, the speed-up compared to well-configured EMA-VQ is only observable at the beginning of training, but KSOM is generally much more robust, e.g., w.r.t. the choice of initialisation schemes.
• Abstract（参考訳）: ニューラルネットワーク(NN)における離散表現の教師なし学習は、現代の多くのアプリケーションにとって不可欠である。 ベクトル量子化(VQ)は、特に変分オートエンコーダ(VAE)のような生成モデルにおいて、指数的移動平均ベースVQ(EMA-VQ)アルゴリズムがよく用いられるようになった。 本稿では,KSOM (Self-Organising Map) に対するコホーネンの学習規則に基づく代替VQアルゴリズムについて検討する。 EMA-VQはKSOMの特殊なケースである。 KSOMは実験的に、EMA-VQよりも早く収束し、KSOMが生成する離散表現は、ノードが離散的なシンボルである格子上の位相構造を形成し、結果として脳の地形図の人工バージョンとなる。 画像処理にKSOMをVQ-VAEに使用することにより,これらの特性を再検討する。 我々の実験では、よく構成されたEMA-VQと比較してスピードアップはトレーニングの開始時にのみ観測可能であるが、KSOMは一般に、例えば初期化スキームの選択など、より堅牢である。

関連論文リスト

• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。 本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Vector Quantized Time Series Generation with a Bidirectional Prior Model [0.3867363075280544]
  時系列生成(TSG)の研究は、主にGAN(Generative Adversarial Networks)とリカレントニューラルネットワーク(RNN)の亜種の使用に焦点を当てている。 本稿では,ベクトル量子化(VQ)技術を用いてTSG問題に対処するTimeVQVAEを提案する。 また、低周波(LF)と高周波(HF)に分かれた時間周波数領域におけるVQモデリングを提案する。
  論文  参考訳（メタデータ） (2023-03-08T17:27:39Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization [13.075574481614478]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)の注目すべき問題は、学習された離散表現がコードブックの全容量のごく一部しか使用していないことである。 本稿では,新しい量子化法と量子化法により,標準VAEを拡張した新しいトレーニング手法を提案する。 実験の結果,SQ-VAEはコモンズを使わずにコードブックの利用を改善することがわかった。
  論文  参考訳（メタデータ） (2022-05-16T09:49:37Z)
• Emergence of Lie symmetries in functional architectures learned by CNNs [63.69764116066748]
  本研究では,自然画像の学習において,畳み込みニューラルネットワーク(CNN)の初期層における対称性の自発的発達について検討する。 私たちのアーキテクチャは、生体視覚システムの初期段階を模倣するために構築されています。
  論文  参考訳（メタデータ） (2021-04-17T13:23:26Z)
• Margin-Based Regularization and Selective Sampling in Deep Neural Networks [7.219077740523683]
  我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。 CIFAR10, CIFAR100, ImageNet上で, MNLI, QQP, QNLI, MRPC, SST-2, RTEベンチマークのための最先端畳み込みニューラルネットワーク(CNN)とBERT-BASEアーキテクチャを用いて, 実験結果の改善を示す。
  論文  参考訳（メタデータ） (2020-09-13T15:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。