論文の概要: Machine learning with tree tensor networks, CP rank constraints, and tensor dropout
- arxiv url: http://arxiv.org/abs/2305.19440v2
- Date: Sat, 04 Jan 2025 21:35:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 17:04:04.802824
- Title: Machine learning with tree tensor networks, CP rank constraints, and tensor dropout
- Title（参考訳）: ツリーテンソルネットワーク、CPランク制約、テンソルドロップアウトによる機械学習
- Authors: Hao Chen, Thomas Barthel,
- Abstract要約: CPランク制約とテンソルドロップアウトを備えたツリーテンソルネットワーク(TTN)が機械学習においてどのように使用できるかを示す。
分岐比が$b=4$の低ランクTTN分類器は、低コストでテストセット精度90.3%に達する。
パラメータの数を減らし、より自由に調整し、オーバーフィッティングを制御し、計算特性を改善し、コストを削減できる。
- 参考スコア（独自算出の注目度）: 3.38220960870904
- License:
- Abstract: Tensor networks developed in the context of condensed matter physics try to approximate order-$N$ tensors with a reduced number of degrees of freedom that is only polynomial in $N$ and arranged as a network of partially contracted smaller tensors. As we have recently demonstrated in the context of quantum many-body physics, computation costs can be further substantially reduced by imposing constraints on the canonical polyadic (CP) rank of the tensors in such networks [arXiv:2205.15296]. Here, we demonstrate how tree tensor networks (TTN) with CP rank constraints and tensor dropout can be used in machine learning. The approach is found to outperform other tensor-network-based methods in Fashion-MNIST image classification. A low-rank TTN classifier with branching ratio $b=4$ reaches a test set accuracy of 90.3\% with low computation costs. Consisting of mostly linear elements, tensor network classifiers avoid the vanishing gradient problem of deep neural networks. The CP rank constraints have additional advantages: The number of parameters can be decreased and tuned more freely to control overfitting, improve generalization properties, and reduce computation costs. They allow us to employ trees with large branching ratios, substantially improving the representation power.
- Abstract（参考訳）: 凝縮物質物理学の文脈で発達したテンソルネットワークは、N$の多項式である自由度が減少し、部分的に収縮した小さなテンソルのネットワークとして配置されたオーダーN$テンソルを近似しようとする。
量子多体物理学の文脈で最近示したように、そのようなネットワーク [arXiv:2205.15296] においてテンソルの正準多面体(CP)階数に制約を課すことにより、計算コストをさらに削減することができる。
ここでは、CPランク制約とテンソルドロップアウトを備えたツリーテンソルネットワーク(TTN)が、機械学習においてどのように使用できるかを示す。
この手法は、Fashion-MNIST画像分類において、他のテンソルネットワークベースの手法よりも優れている。
分岐比$b=4$の低ランクTTN分類器は、計算コストの低いテストセット精度90.3\%に達する。
主に線形要素からなるテンソルネットワーク分類器は、ディープニューラルネットワークの勾配問題を回避している。
CPランクの制約には、以下の利点がある: パラメータの数を減らし、より自由に調整し、オーバーフィッティングを制御し、一般化特性を改善し、計算コストを削減できる。
それらは大きな分岐比を持つ木を使うことを可能にし、表現力を大幅に改善します。
関連論文リスト
- Tensor cumulants for statistical inference on invariant distributions [49.80012009682584]
我々は,PCAが信号の大きさの臨界値で計算的に困難になることを示す。
我々は、与えられた次数の不変量に対して明示的でほぼ直交的な基底を与える新しい対象の集合を定義する。
また、異なるアンサンブルを区別する新しい問題も分析できます。
論文 参考訳（メタデータ） (2024-04-29T14:33:24Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor
Decompositions [51.19236668224547]
テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。
テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。
さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
論文 参考訳（メタデータ） (2022-07-15T11:55:09Z) - Tensor Network States with Low-Rank Tensors [6.385624548310884]
テンソルネットワークを構成するテンソルに低ランク制約を課すという考え方を導入する。
この修正により、ネットワーク最適化の時間と複雑さを大幅に削減できる。
テンソル階数 $r$ を$m$ の順序で選ぶことは、高い精度の基底状態近似を得るのに十分である。
論文 参考訳（メタデータ） (2022-05-30T17:58:16Z) - Low-Rank+Sparse Tensor Compression for Neural Networks [11.632913694957868]
本稿では,低ランクテンソル分解とスパースプルーニングを組み合わせることで,圧縮の粗さと微細構造を両立させることを提案する。
我々はSOTAアーキテクチャ(MobileNetv3、EfficientNet、Vision Transformer)の重みを圧縮し、この手法をスパースプルーニングとテンソル分解だけで比較する。
論文 参考訳（メタデータ） (2021-11-02T15:55:07Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳（メタデータ） (2020-10-22T00:32:12Z) - Towards Compact Neural Networks via End-to-End Training: A Bayesian
Tensor Approach with Automatic Rank Determination [11.173092834726528]
コンパクトニューラルネットワークをスクラッチから直接、低メモリと低計算コストでトレーニングすることが望ましい。
低ランクテンソル分解は、大規模ニューラルネットワークのメモリと計算要求を減らす最も効果的な手法の1つである。
本稿では,ニューラルネットワークの低ランクテンソル化トレーニングのためのエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-17T01:23:26Z) - T-Basis: a Compact Representation for Neural Networks [89.86997385827055]
テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。
ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
論文 参考訳（メタデータ） (2020-07-13T19:03:22Z) - Entanglement and Tensor Networks for Supervised Image Classification [0.0]
我々は手書き文字の桁のMNISTデータセットを用いてテンソルネットワークを用いて教師付き画像分類を行う。
我々は、その絡み合い特性を検証し、可算候補状態 $|Sigma_ellrangle$ を提案する。
我々は、$|Sigma_ellrangle$ が非常に強く絡み合っているので、その作業で使用されるテンソルネットワークでは近似できないと結論づける。
論文 参考訳（メタデータ） (2020-07-12T20:09:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。