論文の概要: Approximate Contraction of Arbitrary Tensor Networks with a Flexible and Efficient Density Matrix Algorithm
- arxiv url: http://arxiv.org/abs/2406.09769v2
- Date: Mon, 17 Jun 2024 20:55:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 12:01:13.717816
- Title: Approximate Contraction of Arbitrary Tensor Networks with a Flexible and Efficient Density Matrix Algorithm
- Title（参考訳）: フレキシブル・高効率密度行列アルゴリズムによる任意テンソルネットワークの近似縮約
- Authors: Linjian Ma, Matthew Fishman, Miles Stoudenmire, Edgar Solomonik,
- Abstract要約: 低ランク近似を用いてテンソルネットワークの収縮を効率的に近似する手法を提案する。
提案アルゴリズムは,低ランク近似を行う場合,環境の大部分を組み込む柔軟性を有する。
- 参考スコア（独自算出の注目度）: 8.329034093208826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tensor network contractions are widely used in statistical physics, quantum computing, and computer science. We introduce a method to efficiently approximate tensor network contractions using low-rank approximations, where each intermediate tensor generated during the contractions is approximated as a low-rank binary tree tensor network. The proposed algorithm has the flexibility to incorporate a large portion of the environment when performing low-rank approximations, which can lead to high accuracy for a given rank. Here, the environment refers to the remaining set of tensors in the network, and low-rank approximations with larger environments can generally provide higher accuracy. For contracting tensor networks defined on lattices, the proposed algorithm can be viewed as a generalization of the standard boundary-based algorithms. In addition, the algorithm includes a cost-efficient density matrix algorithm for approximating a tensor network with a general graph structure into a tree structure, whose computational cost is asymptotically upper-bounded by that of the standard algorithm that uses canonicalization. Experimental results indicate that the proposed technique outperforms previously proposed approximate tensor network contraction algorithms for multiple problems in terms of both accuracy and efficiency.
- Abstract（参考訳）: テンソルネットワークの収縮は、統計物理学、量子コンピューティング、計算機科学で広く使われている。
低ランク近似を用いてテンソルネットワークの縮約を効率的に近似する手法を提案し、この縮約時に生成された各中間テンソルを低ランク二分木テンソルネットワークとして近似する。
提案アルゴリズムは,低ランク近似を行う場合,環境の大部分を組み込むことが可能である。
ここでは、この環境はネットワーク内のテンソルの残りの集合を指し、より大きな環境を持つ低ランク近似は一般により高い精度を提供する。
格子上に定義されたテンソルネットワークを縮約するために、提案アルゴリズムは標準境界ベースアルゴリズムの一般化と見なすことができる。
さらに、このアルゴリズムは、一般的なグラフ構造を持つテンソルネットワークを木構造に近似するためのコスト効率の高い密度行列アルゴリズムを含む。
実験結果から,提案手法は従来提案した近似テンソルネットワーク縮合アルゴリズムよりも精度と効率の両面から,複数の問題に対して優れていたことが示唆された。
関連論文リスト
- Flavors of Margin: Implicit Bias of Steepest Descent in Homogeneous Neural Networks [19.185059111021854]
本稿では,勾配降下,符号降下,座標降下を含む急勾配降下アルゴリズムの一般家系の暗黙バイアスについて検討する。
ネットワークが完全なトレーニング精度に達すると,アルゴリズム依存の幾何マージンが増加し始めることを実証する。
論文 参考訳（メタデータ） (2024-10-29T14:28:49Z) - Network-GIANT: Fully distributed Newton-type optimization via harmonic
Hessian consensus [2.8617826964327113]
本稿では,GIANTに基づくNewton型完全分散最適化アルゴリズムであるNetwork-GIANTを紹介する。
このアルゴリズムは,強い凸関数と滑らかな損失関数を仮定して,ネットワーク上の厳密解に対する半言語的および指数的収束を保証する。
我々は,Network-DANEやNewton-Raphson Consensusのような最先端の分散学習アルゴリズムに比べて,Network-GIANTの収束性能が優れていることを示す実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-05-13T11:42:40Z) - Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳（メタデータ） (2023-01-30T15:46:39Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Deep learning via message passing algorithms based on belief propagation [2.931240348160871]
本稿では,局所的なエントロピー分布に偏りを持つ強化場を有するBPベースのメッセージパッシングアルゴリズムのファミリについて述べる。
これらのアルゴリズムは、SGDにインスパイアされたソリューションに匹敵するパフォーマンスで、離散重みとアクティベーションを持つ多層ニューラルネットワークをトレーニングすることができる。
論文 参考訳（メタデータ） (2021-10-27T16:52:26Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳（メタデータ） (2021-03-05T04:42:32Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Tensor Networks contraction and the Belief Propagation algorithm [0.0]
信念の伝播は、グラフィカルモデル上で動作するよく研究されたメッセージパッシングアルゴリズムである。
PEPSテンソルネットワークの世界にどのように適応できるかを示し、近似収縮スキームとして利用する。
論文 参考訳（メタデータ） (2020-08-10T22:03:25Z) - Algorithms for Tensor Network Contraction Ordering [0.0]
十分に設計された収縮シーケンスは、収縮コストを劇的に削減することができる。
この順序付け問題に対して、2つの一般的な離散最適化手法をベンチマークする。
検討するアルゴリズムは、同等の計算資源を与えられた欲求探索を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2020-01-15T19:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。