論文の概要: Machine learning with tree tensor networks, CP rank constraints, and tensor dropout

• arxiv url: http://arxiv.org/abs/2305.19440v1
• Date: Tue, 30 May 2023 22:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 19:28:56.641948
• Title: Machine learning with tree tensor networks, CP rank constraints, and tensor dropout
• Title（参考訳）: ツリーテンソルネットワークを用いた機械学習、cpランク制約、テンソルドロップアウト
• Authors: Hao Chen and Thomas Barthel
• Abstract要約: CPランク制約付きツリーテンソルネットワーク(TTN)とドロップアウトテンソルが機械学習でどのように使用できるかを示す。 分岐比$b=4$の低ランクTTN分類器は、低計算コストでテストセット精度90.3%に達する。
• 参考スコア（独自算出の注目度）: 6.385624548310884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor networks approximate order-$N$ tensors with a reduced number of degrees of freedom that is only polynomial in $N$ and arranged as a network of partially contracted smaller tensors. As suggested in [arXiv:2205.15296] in the context of quantum many-body physics, computation costs can be further substantially reduced by imposing constraints on the canonical polyadic (CP) rank of the tensors in such networks. Here we demonstrate how tree tensor networks (TTN) with CP rank constraints and tensor dropout can be used in machine learning. The approach is found to outperform other tensor-network based methods in Fashion-MNIST image classification. A low-rank TTN classifier with branching ratio $b=4$ reaches test set accuracy 90.3\% with low computation costs. Consisting of mostly linear elements, tensor network classifiers avoid the vanishing gradient problem of deep neural networks. The CP rank constraints have additional advantages: The number of parameters can be decreased and tuned more freely to control overfitting, improve generalization properties, and reduce computation costs. They allow us to employ trees with large branching ratios which substantially improves the representation power.
• Abstract（参考訳）: テンソルネットワークは位数-$N$テンソルを近似し、自由度が減少し、N$の多項式のみであり、部分的に収縮した小さなテンソルのネットワークとして配置される。 量子多体物理学の文脈において [arXiv:2205.15296] に示唆されているように、そのようなネットワークにおけるテンソルの正準ポリアディック(CP)階数に制約を加えることにより、計算コストはさらに大幅に削減できる。 本稿では,cpランク制約とテンソルドロップアウトを用いたツリーテンソルネットワーク(ttn)の機械学習への応用例を示す。 この手法は、Fashion-MNIST画像分類において、他のテンソルネットワークベースの手法よりも優れている。 分岐比$b=4$の低ランクTTN分類器は、低計算コストでテストセット精度90.3\%に達する。 主に線形要素からなるテンソルネットワーク分類器は、ディープニューラルネットワークの勾配問題を回避している。 CPランクの制約には、以下の利点がある: パラメータの数を減らし、より自由に調整し、オーバーフィッティングを制御し、一般化特性を改善し、計算コストを削減できる。 それらは、表現力を大幅に向上させる大きな分岐比を持つ木を使うことを可能にします。

関連論文リスト

• Tensor cumulants for statistical inference on invariant distributions [49.80012009682584]
  我々は,PCAが信号の大きさの臨界値で計算的に困難になることを示す。 我々は、与えられた次数の不変量に対して明示的でほぼ直交的な基底を与える新しい対象の集合を定義する。 また、異なるアンサンブルを区別する新しい問題も分析できます。
  論文  参考訳（メタデータ） (2024-04-29T14:33:24Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor Decompositions [51.19236668224547]
  テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。 テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。 さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
  論文  参考訳（メタデータ） (2022-07-15T11:55:09Z)
• Tensor Network States with Low-Rank Tensors [6.385624548310884]
  テンソルネットワークを構成するテンソルに低ランク制約を課すという考え方を導入する。 この修正により、ネットワーク最適化の時間と複雑さを大幅に削減できる。 テンソル階数 $r$ を$m$ の順序で選ぶことは、高い精度の基底状態近似を得るのに十分である。
  論文  参考訳（メタデータ） (2022-05-30T17:58:16Z)
• Stack operation of tensor networks [10.86105335102537]
  本稿では,テンソルネットワークスタックアプローチに対する数学的に厳密な定義を提案する。 本稿では、行列製品状態に基づく機械学習を例として、主なアイデアを例に挙げる。
  論文  参考訳（メタデータ） (2022-03-28T12:45:13Z)
• Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
  過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。 以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T00:32:12Z)
• Towards Compact Neural Networks via End-to-End Training: A Bayesian Tensor Approach with Automatic Rank Determination [11.173092834726528]
  コンパクトニューラルネットワークをスクラッチから直接、低メモリと低計算コストでトレーニングすることが望ましい。 低ランクテンソル分解は、大規模ニューラルネットワークのメモリと計算要求を減らす最も効果的な手法の1つである。 本稿では,ニューラルネットワークの低ランクテンソル化トレーニングのためのエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-17T01:23:26Z)
• T-Basis: a Compact Representation for Neural Networks [89.86997385827055]
  テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。 ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
  論文  参考訳（メタデータ） (2020-07-13T19:03:22Z)
• Entanglement and Tensor Networks for Supervised Image Classification [0.0]
  我々は手書き文字の桁のMNISTデータセットを用いてテンソルネットワークを用いて教師付き画像分類を行う。 我々は、その絡み合い特性を検証し、可算候補状態 $|Sigma_ellrangle$ を提案する。 我々は、$|Sigma_ellrangle$ が非常に強く絡み合っているので、その作業で使用されるテンソルネットワークでは近似できないと結論づける。
  論文  参考訳（メタデータ） (2020-07-12T20:09:26Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。