論文の概要: Variational Tensor Neural Networks for Deep Learning

• arxiv url: http://arxiv.org/abs/2211.14657v2
• Date: Sun, 8 Jan 2023 13:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 18:21:23.734989
• Title: Variational Tensor Neural Networks for Deep Learning
• Title（参考訳）: 深層学習のための変分テンソルニューラルネットワーク
• Authors: Saeed S. Jahromi, Roman Orus
• Abstract要約: ディープニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。 これによりスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現され、多数のニューロンやレイヤに対して効率的にトレーニングすることができる。 我々のトレーニングアルゴリズムは、テンソル化トレーニング可能な重みの絡み合い構造に関する洞察を提供し、量子神経状態としての表現力を明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (NN) suffer from scaling issues when considering a large number of neurons, in turn limiting also the accessible number of layers. To overcome this, here we propose the integration of tensor networks (TN) into NNs, in combination with variational DMRG-like optimization. This results in a scalable tensor neural network (TNN) architecture that can be efficiently trained for a large number of neurons and layers. The variational algorithm relies on a local gradient-descent technique, with tensor gradients being computable either manually or by automatic differentiation, in turn allowing for hybrid TNN models combining dense and tensor layers. Our training algorithm provides insight into the entanglement structure of the tensorized trainable weights, as well as clarify the expressive power as a quantum neural state. We benchmark the accuracy and efficiency of our algorithm by designing TNN models for regression and classification on different datasets. In addition, we also discuss the expressive power of our algorithm based on the entanglement structure of the neural network.
• Abstract（参考訳）: ディープニューラルネットワーク(NN)は、多数のニューロンを考慮するとスケーリングの問題に悩まされるため、アクセス可能なレイヤ数も制限される。 そこで本研究では,変分DMRG様最適化と組み合わせて,テンソルネットワーク(TN)をNNに統合することを提案する。 これによりスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現され、多数のニューロンやレイヤに対して効率的にトレーニングすることができる。 変分アルゴリズムは局所的な勾配-退化法に依存しており、テンソル勾配は手動でも自動微分でも計算可能であり、高密度層とテンソル層を組み合わせたハイブリッドTNNモデルを可能にする。 我々のトレーニングアルゴリズムは、テンソル化トレーニング可能な重みの絡み合い構造に関する洞察を提供し、量子神経状態としての表現力を明らかにする。 異なるデータセットの回帰と分類のためのTNNモデルを設計することで、アルゴリズムの精度と効率をベンチマークする。 さらに,ニューラルネットワークの絡み合い構造に基づくアルゴリズムの表現力についても考察する。

関連論文リスト

• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• TT-SNN: Tensor Train Decomposition for Efficient Spiking Neural Network Training [27.565726483503838]
  スパイキングニューラルネットワーク(TT-SNN)の列車分解について紹介する。 TT-SNNはトレーニング可能な重量分解によってモデルサイズを削減し、ストレージ、FLOP、レイテンシーを削減した。 また,典型的な逐次テンソル計算の代替として並列計算を提案する。
  論文  参考訳（メタデータ） (2024-01-15T23:08:19Z)
• SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization [0.0]
  畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。 テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T14:27:34Z)
• A Gradient Boosting Approach for Training Convolutional and Deep Neural Networks [0.0]
  グラディエントブースティング(GB)に基づく畳み込みニューラルネットワーク(CNN)とディープニューラルネットワークの訓練方法を紹介する。 提案モデルでは,同一アーキテクチャの標準CNNとDeep-NNに対して,分類精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-22T12:17:32Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。