論文の概要: Deep convolutional tensor network
- arxiv url: http://arxiv.org/abs/2005.14506v2
- Date: Sat, 14 Nov 2020 21:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 22:56:36.553079
- Title: Deep convolutional tensor network
- Title（参考訳）: 深部畳み込みテンソルネットワーク
- Authors: Philip Blagoveschensky, Anh Huy Phan
- Abstract要約: 我々は,画像分類のための新しいTNモデルであるDeep Convolutional tensor Network(DCTN)を考案した。
EPSをバックプロパガブル層として実装する方法を示す。
浅いDCTNはMNISTとFashionMNISTでよく機能し、パラメータ数も小さい。
しかし、深さは過度に適合し、テスト精度が低下する。
- 参考スコア（独自算出の注目度）: 8.131939872202274
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks have achieved state of the art results in many areas,
supposedly due to parameter sharing, locality, and depth. Tensor networks (TNs)
are linear algebraic representations of quantum many-body states based on their
entanglement structure. TNs have found use in machine learning. We devise a
novel TN based model called Deep convolutional tensor network (DCTN) for image
classification, which has parameter sharing, locality, and depth. It is based
on the Entangled plaquette states (EPS) TN. We show how EPS can be implemented
as a backpropagatable layer. We test DCTN on MNIST, FashionMNIST, and CIFAR10
datasets. A shallow DCTN performs well on MNIST and FashionMNIST and has a
small parameter count. Unfortunately, depth increases overfitting and thus
decreases test accuracy. Also, DCTN of any depth performs badly on CIFAR10 due
to overfitting. It is to be determined why. We discuss how the hyperparameters
of DCTN affect its training and overfitting.
- Abstract（参考訳）: ニューラルネットワークは、パラメータ共有、局所性、深さなど、多くの分野で技術結果の状態を達成している。
テンソルネットワーク(tns)は、その絡み合い構造に基づく量子多体状態の線形代数表現である。
TNは機械学習に使われている。
我々は、パラメータ共有、局所性、深さを有する画像分類のための新しいTNベースのDeep Convolutional tensor Network(DCTN)を考案した。
これはEntangled plaquette state (EPS) TNに基づいている。
我々はepsをバックプロパゲータ層として実装する方法を示す。
我々は、MNIST、FashionMNIST、CIFAR10データセット上でDCTNをテストする。
浅いDCTNはMNISTとFashionMNISTでよく機能し、パラメータ数も小さい。
残念ながら、深さは過度に適合し、テスト精度が低下する。
また、深さのDCTNは過度な適合によりCIFAR10に悪影響を及ぼす。
なぜかは決まっている。
DCTNのハイパーパラメータがトレーニングやオーバーフィッティングにどのように影響するかを論じる。
関連論文リスト
- Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data [0.8594140167290099]
ニューラル崩壊(Neural collapse, NC)は、ディープ・ニューラル・ネットワーク(DNN)の終末期に発生する現象である。
2層または3層ニューラルネットワークでNCが発生した場合の完全な特徴付けを提供する。
論文 参考訳（メタデータ） (2024-09-03T12:30:21Z) - Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
我々は、失われたヘッセンのレンズを通して風景を研究する。
我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。
ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
論文 参考訳（メタデータ） (2024-02-27T12:28:01Z) - Training Convolutional Neural Networks with the Forward-Forward
algorithm [1.74440662023704]
Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。
FFパラダイムをCNNに拡張する方法を示す。
我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
論文 参考訳（メタデータ） (2023-12-22T18:56:35Z) - Verifiable and Energy Efficient Medical Image Analysis with Quantised
Self-attentive Deep Neural Networks [7.751856268560217]
本稿では,従来のCNNの代替として,スタンドアローンの自己アテンションモデルを提案する。
分類タスクとセグメント化タスクにおいて,本手法の有効性を実験的に検証した。
論文 参考訳（メタデータ） (2022-09-30T07:51:29Z) - Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。
我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。
実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
論文 参考訳（メタデータ） (2022-07-08T05:07:19Z) - Non-deep Networks [122.77755088736865]
我々は、高性能な「非深度」ニューラルネットワークを構築することができることを示す。
並列サブストラクチャを利用することで、深さが12のネットワークが80%以上のトップ1の精度を達成できることを示す。
我々は、低遅延認識システムを構築するために、非ディープネットワークをどのように使用できるかという概念の証明を提供する。
論文 参考訳（メタデータ） (2021-10-14T18:03:56Z) - Exploring the Common Principal Subspace of Deep Features in Neural
Networks [50.37178960258464]
我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。
具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。
異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
論文 参考訳（メタデータ） (2021-10-06T15:48:32Z) - MVTN: Multi-View Transformation Network for 3D Shape Recognition [80.34385402179852]
本稿では,3次元形状認識のための最適視点を回帰するマルチビュー変換ネットワーク(MVTN)を提案する。
MVTNは3次元形状分類のためのマルチビューネットワークと共に、エンドツーエンドで訓練することができる。
MVTNは3次元形状分類と3次元形状検索のタスクにおいて、余分な訓練監督を必要とせず、明らかな性能向上を示す。
論文 参考訳（メタデータ） (2020-11-26T11:33:53Z) - Quantum-Classical Machine learning by Hybrid Tensor Networks [14.851178989158976]
本研究では,テンソルネットワークと古典ニューラルネットワークを組み合わせた量子古典ハイブリッドネットワーク(HTN)を提案する。
量子分類や量子オートエンコーダなど,HTNの応用の可能性を示す。
論文 参考訳（メタデータ） (2020-05-15T10:20:35Z) - Tensor-to-Vector Regression for Multi-channel Speech Enhancement based
on Tensor-Train Network [53.47564132861866]
マルチチャネル音声強調のためのテンソル-ベクトル回帰手法を提案する。
キーとなる考え方は、従来のディープニューラルネットワーク(DNN)ベースのベクトル-ベクトル回帰の定式化を、テンソル-トレインネットワーク(TTN)フレームワークで行うことである。
8チャンネル条件では、3.12のPSSQはTTNの2000万のパラメータを使用して達成されるが、6800万のパラメータを持つDNNは3.06のPSSQしか達成できない。
論文 参考訳（メタデータ） (2020-02-03T02:58:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。