論文の概要: Learning Neural Networks on SVD Boosted Latent Spaces for Semantic Classification

• arxiv url: http://arxiv.org/abs/2101.00563v1
• Date: Sun, 3 Jan 2021 05:30:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 11:41:45.188311
• Title: Learning Neural Networks on SVD Boosted Latent Spaces for Semantic Classification
• Title（参考訳）: 意味分類のためのSVD強化潜在空間上のニューラルネットワークの学習
• Authors: Sahil Sidheekh
• Abstract要約: 本研究では,高次元入力空間を低次元潜在空間に変換するために特異値分解法を提案する。 この低次元空間で訓練されたニューラルネットワークは、計算量を大幅に削減しながら性能を維持することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The availability of large amounts of data and compelling computation power have made deep learning models much popular for text classification and sentiment analysis. Deep neural networks have achieved competitive performance on the above tasks when trained on naive text representations such as word count, term frequency, and binary matrix embeddings. However, many of the above representations result in the input space having a dimension of the order of the vocabulary size, which is enormous. This leads to a blow-up in the number of parameters to be learned, and the computational cost becomes infeasible when scaling to domains that require retaining a colossal vocabulary. This work proposes using singular value decomposition to transform the high dimensional input space to a lower-dimensional latent space. We show that neural networks trained on this lower-dimensional space are not only able to retain performance while savoring significant reduction in the computational complexity but, in many situations, also outperforms the classical neural networks trained on the native input space.
• Abstract（参考訳）: 大量のデータと説得力のある計算能力のおかげで、ディープラーニングモデルはテキストの分類や感情分析にとても人気がある。 深層ニューラルネットワークは、単語数、項頻度、バイナリマトリックスの埋め込みなどの単純テキスト表現を訓練することで、上記のタスクで競合性能を達成した。 しかし、上記の表現の多くは、入力空間が語彙の大きさの次数の次元を持つという巨大な結果をもたらす。 これにより、学習すべきパラメータの数が急増し、コロッサル語彙を保持する必要があるドメインにスケールする場合、計算コストは実現不可能になる。 本研究では,高次元入力空間を低次元潜在空間に変換するために特異値分解法を提案する。 この低次元空間でトレーニングされたニューラルネットワークは、計算複雑性を著しく低減しながら性能を維持するだけでなく、多くの状況において、ネイティブな入力空間でトレーニングされた古典的ニューラルネットワークよりも優れていることを示す。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Spiking mode-based neural networks [2.5690340428649328]
  スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。 大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。 本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T06:54:17Z)
• DepWiGNN: A Depth-wise Graph Neural Network for Multi-hop Spatial Reasoning in Text [52.699307699505646]
  マルチホップ空間推論のためのDepWiGNN(Depth-Wise Graph Neural Network)を提案する。 具体的には,新しいノードメモリ方式を設計し,グラフの幅次元ではなく深さ次元の情報を集約する。 2つの挑戦的なマルチホップ空間推論データセットの実験結果から,DepWiGNNが既存の空間推論手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-19T08:07:22Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Side-effects of Learning from Low Dimensional Data Embedded in an Euclidean Space [3.093890460224435]
  データ多様体の必要次元におけるネットワークの深さとノイズに関連する潜在的な正則化効果について検討する。 また,騒音によるトレーニングの副作用も提示した。
  論文  参考訳（メタデータ） (2022-03-01T16:55:51Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• Reservoir Stack Machines [77.12475691708838]
  メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。 本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。 以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
  論文  参考訳（メタデータ） (2021-05-04T16:50:40Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Text Classification based on Multi-granularity Attention Hybrid Neural Network [4.718408602093766]
  マルチグラニュラリティアテンションに基づくハイブリッドニューラルネットワーク(MahNN)という,新しい階層型マルチグラニュラリティアテンション機構に基づくハイブリッドアーキテクチャを提案する。 注目されるメカニズムは、ニューラルネットワークの計算効率と性能を高めるために、入力シーケンスの異なる部分に異なる重みを割り当てることである。
  論文  参考訳（メタデータ） (2020-08-12T13:02:48Z)
• Efficient Training of Deep Convolutional Neural Networks by Augmentation in Embedding Space [24.847651341371684]
  データが少ないアプリケーションでは、ディープラーニングモデルの一般化を改善するために、転送学習とデータ拡張技術が一般的に使用される。 生入力空間におけるデータ拡張を伴う転送モデルを微調整すると、拡張入力毎に全ネットワークを実行するのに高い計算コストがかかる。 本稿では, 生の入力空間における拡張を, 埋め込み空間において純粋に作用する近似的に置き換える手法を提案する。
  論文  参考訳（メタデータ） (2020-02-12T03:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。