論文の概要: Advantages of density in tensor network geometries for gradient based training

• arxiv url: http://arxiv.org/abs/2412.17497v1
• Date: Mon, 23 Dec 2024 11:54:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:24.037975
• Title: Advantages of density in tensor network geometries for gradient based training
• Title（参考訳）: 勾配に基づくトレーニングのためのテンソルネットワーク測地における密度の利点
• Authors: Sergi Masot-Llima, Artur Garcia-Saez,
• Abstract要約: 近年、テンソルネットワークは機械学習での利用が増加している。 本稿では、異なるジオメトリを持つテンソルネットワークを訓練し、ランダムな量子状態を符号化し、密結合された構造がよりスパースな構造よりも優れた不完全性を達成することを確認する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Tensor networks are a very powerful data structure tool originating from quantum system simulations. In recent years, they have seen increased use in machine learning, mostly in trainings with gradient-based techniques, due to their flexibility and performance exploiting hardware acceleration. As ans\"atze, tensor networks can be used with flexible geometries, and it is known that for highly regular ones their dimensionality has a large impact in performance and representation power. For heterogeneous structures, however, these effects are not completely characterized. In this article, we train tensor networks with different geometries to encode a random quantum state, and see that densely connected structures achieve better infidelities than more sparse structures, with higher success rates and less time. Additionally, we give some general insight on how to improve memory requirements on these sparse structures and its impact on the trainings. Finally, as we use HPC resources for the calculations, we discuss the requirements for this approach and showcase performance improvements with GPU acceleration on a last-generation supercomputer.
• Abstract（参考訳）: テンソルネットワークは、量子システムシミュレーションに由来する非常に強力なデータ構造ツールである。 近年、ハードウェアアクセラレーションの柔軟性とパフォーマンスを活用するため、主に勾配ベースのテクニックによるトレーニングで機械学習の利用が増加している。 ans\atze として、テンソルネットワークはフレキシブルなジオメトリーで使用することができ、高度に正規なものには、それらの次元が性能と表現力に大きな影響を与えることが知られている。 しかし、不均一な構造では、これらの効果は完全には特徴づけられていない。 本稿では、異なるジオメトリを持つテンソルネットワークを訓練し、ランダムな量子状態を符号化し、密結合された構造が、よりスパースな構造よりも優れた不完全性を達成し、より高い成功率とより少ない時間で達成できることを確認する。 さらに、これらのスパース構造におけるメモリ要求の改善方法と、そのトレーニングへの影響について、一般的な知見を提供する。 最後に,HPCリソースを計算に用いながら,本手法の要件について議論し,第3世代のスーパーコンピュータ上でのGPUアクセラレーションによる性能向上を示す。

関連論文リスト

• Quantization of Deep Neural Networks to facilitate self-correction of weights on Phase Change Memory-based analog hardware [0.0]
  乗法重みの集合を近似するアルゴリズムを開発する。 これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。 その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
  論文  参考訳（メタデータ） (2023-09-30T10:47:25Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Improvements to Gradient Descent Methods for Quantum Tensor Network Machine Learning [0.0]
  任意のテンソルネットワークの初期化に成功したコピーノード方式を提案する。 本稿では、量子インスパイアされたテンソルネットワークモデルを生成する手法の組み合わせを示す数値的な結果を示す。
  論文  参考訳（メタデータ） (2022-03-03T19:00:40Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Benchmarking network fabrics for data distributed training of deep neural networks [10.067102343753643]
  深層モデルの訓練のための大規模な計算要求は、より高速な訓練のための新しい方法の開発を必要としている。 このようなアプローチのひとつに、トレーニングデータを複数の計算ノードに分散する、データ並列アプローチがある。 本稿では,物理ハードウェアの相互接続とネットワーク関連ソフトウェアプリミティブを用いてデータ分散ディープラーニングを実現する効果について検討する。
  論文  参考訳（メタデータ） (2020-08-18T17:38:30Z)
• Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
  我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。 グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF) 完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
  論文  参考訳（メタデータ） (2020-04-06T13:25:46Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。