論文の概要: Topological Neural Discrete Representation Learning \`a la Kohonen

• arxiv url: http://arxiv.org/abs/2302.07950v1
• Date: Wed, 15 Feb 2023 21:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 15:47:55.792488
• Title: Topological Neural Discrete Representation Learning \`a la Kohonen
• Title（参考訳）: トポロジカル・ニューラル離散表現学習
• Authors: Kazuki Irie, R\'obert Csord\'as, J\"urgen Schmidhuber
• Abstract要約: 我々は、KSOM(Kohonen Self-Organising Maps)の学習規則に基づく代替VQアルゴリズムについて検討する。 特に,本実験では,EMA-VQと比較して,トレーニング開始時にのみ速度アップが観測可能であるが,KSOMは一般にEMA-VQよりもはるかに堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 8.131130865777344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised learning of discrete representations from continuous ones in neural networks (NNs) is the cornerstone of several applications today. Vector Quantisation (VQ) has become a popular method to achieve such representations, in particular in the context of generative models such as Variational Auto-Encoders (VAEs). For example, the exponential moving average-based VQ (EMA-VQ) algorithm is often used. Here we study an alternative VQ algorithm based on the learning rule of Kohonen Self-Organising Maps (KSOMs; 1982) of which EMA-VQ is a special case. In fact, KSOM is a classic VQ algorithm which is known to offer two potential benefits over the latter: empirically, KSOM is known to perform faster VQ, and discrete representations learned by KSOM form a topological structure on the grid whose nodes are the discrete symbols, resulting in an artificial version of the topographic map in the brain. We revisit these properties by using KSOM in VQ-VAEs for image processing. In particular, our experiments show that, while the speed-up compared to well-configured EMA-VQ is only observable at the beginning of training, KSOM is generally much more robust than EMA-VQ, e.g., w.r.t. the choice of initialisation schemes. Our code is public.
• Abstract（参考訳）: ニューラルネットワーク(NN)における連続表現からの離散表現の教師なし学習は、今日のいくつかのアプリケーションの基盤となっている。 ベクトル量子化(VQ)は、特に変分オートエンコーダ(VAE)のような生成モデルのコンテキストにおいて、そのような表現を実現する一般的な方法となっている。 例えば、指数移動平均ベースVQ (EMA-VQ) アルゴリズムはよく用いられる。 本稿では,EMA-VQが特別な場合であるKSOM(Kohonen Self-Organising Maps)の学習規則に基づく代替VQアルゴリズムについて検討する。 実際、KSOMは古典的なVQアルゴリズムであり、KSOMは実験的により高速なVQを実行することが知られており、KSOMによって学習された離散表現は、ノードが離散的なシンボルである格子上の位相構造を形成し、結果として脳内の地形図の人工バージョンとなる。 画像処理にKSOMをVQ-VAEに使用することにより,これらの特性を再検討する。 特に, 実験の結果, 十分に構成されたEMA-VQと比較して, KSOMはトレーニング開始時にのみ観測可能であるが, KSOMは初期化スキームの選択など, EMA-VQよりもはるかに堅牢であることがわかった。 私たちのコードは公開されています。

関連論文リスト

• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。 本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Vector Quantized Time Series Generation with a Bidirectional Prior Model [0.3867363075280544]
  時系列生成(TSG)の研究は、主にGAN(Generative Adversarial Networks)とリカレントニューラルネットワーク(RNN)の亜種の使用に焦点を当てている。 本稿では,ベクトル量子化(VQ)技術を用いてTSG問題に対処するTimeVQVAEを提案する。 また、低周波(LF)と高周波(HF)に分かれた時間周波数領域におけるVQモデリングを提案する。
  論文  参考訳（メタデータ） (2023-03-08T17:27:39Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization [13.075574481614478]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)の注目すべき問題は、学習された離散表現がコードブックの全容量のごく一部しか使用していないことである。 本稿では,新しい量子化法と量子化法により,標準VAEを拡張した新しいトレーニング手法を提案する。 実験の結果,SQ-VAEはコモンズを使わずにコードブックの利用を改善することがわかった。
  論文  参考訳（メタデータ） (2022-05-16T09:49:37Z)
• Emergence of Lie symmetries in functional architectures learned by CNNs [63.69764116066748]
  本研究では,自然画像の学習において,畳み込みニューラルネットワーク(CNN)の初期層における対称性の自発的発達について検討する。 私たちのアーキテクチャは、生体視覚システムの初期段階を模倣するために構築されています。
  論文  参考訳（メタデータ） (2021-04-17T13:23:26Z)
• Margin-Based Regularization and Selective Sampling in Deep Neural Networks [7.219077740523683]
  我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。 CIFAR10, CIFAR100, ImageNet上で, MNLI, QQP, QNLI, MRPC, SST-2, RTEベンチマークのための最先端畳み込みニューラルネットワーク(CNN)とBERT-BASEアーキテクチャを用いて, 実験結果の改善を示す。
  論文  参考訳（メタデータ） (2020-09-13T15:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。