論文の概要: Tensor Network States with Low-Rank Tensors

• arxiv url: http://arxiv.org/abs/2205.15296v1
• Date: Mon, 30 May 2022 17:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-11 06:34:57.189711
• Title: Tensor Network States with Low-Rank Tensors
• Title（参考訳）: 低ランクテンソルを持つテンソルネットワーク状態
• Authors: Hao Chen and Thomas Barthel
• Abstract要約: テンソルネットワークを構成するテンソルに低ランク制約を課すという考え方を導入する。 この修正により、ネットワーク最適化の時間と複雑さを大幅に削減できる。 テンソル階数 $r$ を$m$ の順序で選ぶことは、高い精度の基底状態近似を得るのに十分である。
• 参考スコア（独自算出の注目度）: 6.385624548310884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor networks are used to efficiently approximate states of strongly-correlated quantum many-body systems. More generally, tensor network approximations may allow to reduce the costs for operating on an order-$N$ tensor from exponential to polynomial in $N$, and this has become a popular approach for machine learning. We introduce the idea of imposing low-rank constraints on the tensors that compose the tensor network. With this modification, the time and space complexities for the network optimization can be substantially reduced while maintaining high accuracy. We detail this idea for tree tensor network states (TTNS) and projected entangled-pair states. Simulations of spin models on Cayley trees with low-rank TTNS exemplify the effect of rank constraints on the expressive power. We find that choosing the tensor rank $r$ to be on the order of the bond dimension $m$, is sufficient to obtain high-accuracy groundstate approximations and to substantially outperform standard TTNS computations. Thus low-rank tensor networks are a promising route for the simulation of quantum matter and machine learning on large data sets.
• Abstract（参考訳）: テンソルネットワークは強相関量子多体系の状態を効率的に近似するために用いられる。 より一般に、テンソルネットワーク近似(tensor network approximations)は、オーダー=n$テンソル上の操作コストを指数関数から多項式へn$で削減することができる。 テンソルネットワークを構成するテンソルに低ランク制約を課すという考え方を導入する。 この修正により、ネットワーク最適化の時間と空間の複雑さは、高い精度を維持しながら大幅に低減できる。 木テンソルネットワーク状態(TTNS)と凸対状態について詳述する。 低ランクttnを有するケイリー木上のスピンモデルのシミュレーションは、ランク制約が表現力に与える影響を示す。 テンソル階数 r$ を結合次元 $m$ の順に選べば、高い精度の基底状態近似を得るのに十分であり、標準 ttns 計算を実質的に上回ることができる。 したがって、低ランクテンソルネットワークは、大きなデータセット上の量子物質と機械学習のシミュレーションに有望な経路である。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Machine learning with tree tensor networks, CP rank constraints, and tensor dropout [3.38220960870904]
  CPランク制約とテンソルドロップアウトを備えたツリーテンソルネットワーク(TTN)が機械学習においてどのように使用できるかを示す。 分岐比が$b=4$の低ランクTTN分類器は、低コストでテストセット精度90.3%に達する。 パラメータの数を減らし、より自由に調整し、オーバーフィッティングを制御し、計算特性を改善し、コストを削減できる。
  論文  参考訳（メタデータ） (2023-05-30T22:22:24Z)
• Isometric tensor network optimization for extensive Hamiltonians is free of barren plateaus [0.0]
  等尺テンソルネットワーク状態(TNS)のエネルギー最適化にはバレンプラトーが存在しないことを示す。 TNSは、強相関量子物質の効率的な量子計算に基づく研究に期待できるルートである。
  論文  参考訳（メタデータ） (2023-04-27T16:45:57Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Low-Rank+Sparse Tensor Compression for Neural Networks [11.632913694957868]
  本稿では,低ランクテンソル分解とスパースプルーニングを組み合わせることで,圧縮の粗さと微細構造を両立させることを提案する。 我々はSOTAアーキテクチャ(MobileNetv3、EfficientNet、Vision Transformer)の重みを圧縮し、この手法をスパースプルーニングとテンソル分解だけで比較する。
  論文  参考訳（メタデータ） (2021-11-02T15:55:07Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Towards Compact Neural Networks via End-to-End Training: A Bayesian Tensor Approach with Automatic Rank Determination [11.173092834726528]
  コンパクトニューラルネットワークをスクラッチから直接、低メモリと低計算コストでトレーニングすることが望ましい。 低ランクテンソル分解は、大規模ニューラルネットワークのメモリと計算要求を減らす最も効果的な手法の1つである。 本稿では,ニューラルネットワークの低ランクテンソル化トレーニングのためのエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-17T01:23:26Z)
• T-Basis: a Compact Representation for Neural Networks [89.86997385827055]
  テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。 ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
  論文  参考訳（メタデータ） (2020-07-13T19:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。