論文の概要: Entanglement and Tensor Networks for Supervised Image Classification

• arxiv url: http://arxiv.org/abs/2007.06082v1
• Date: Sun, 12 Jul 2020 20:09:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 05:38:59.287005
• Title: Entanglement and Tensor Networks for Supervised Image Classification
• Title（参考訳）: 教師付き画像分類のための絡み合いとテンソルネットワーク
• Authors: John Martyn, Guifre Vidal, Chase Roberts, Stefan Leichenauer
• Abstract要約: 我々は手書き文字の桁のMNISTデータセットを用いてテンソルネットワークを用いて教師付き画像分類を行う。 我々は、その絡み合い特性を検証し、可算候補状態 $|Sigma_ellrangle$ を提案する。 我々は、$|Sigma_ellrangle$ が非常に強く絡み合っているので、その作業で使用されるテンソルネットワークでは近似できないと結論づける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor networks, originally designed to address computational problems in quantum many-body physics, have recently been applied to machine learning tasks. However, compared to quantum physics, where the reasons for the success of tensor network approaches over the last 30 years is well understood, very little is yet known about why these techniques work for machine learning. The goal of this paper is to investigate entanglement properties of tensor network models in a current machine learning application, in order to uncover general principles that may guide future developments. We revisit the use of tensor networks for supervised image classification using the MNIST data set of handwritten digits, as pioneered by Stoudenmire and Schwab [Adv. in Neur. Inform. Proc. Sys. 29, 4799 (2016)]. Firstly we hypothesize about which state the tensor network might be learning during training. For that purpose, we propose a plausible candidate state $|\Sigma_{\ell}\rangle$ (built as a superposition of product states corresponding to images in the training set) and investigate its entanglement properties. We conclude that $|\Sigma_{\ell}\rangle$ is so robustly entangled that it cannot be approximated by the tensor network used in that work, which must therefore be representing a very different state. Secondly, we use tensor networks with a block product structure, in which entanglement is restricted within small blocks of $n \times n$ pixels/qubits. We find that these states are extremely expressive (e.g. training accuracy of $99.97 \%$ already for $n=2$), suggesting that long-range entanglement may not be essential for image classification. However, in our current implementation, optimization leads to over-fitting, resulting in test accuracies that are not competitive with other current approaches.
• Abstract（参考訳）: 量子多体物理学における計算問題に対処するために設計されたテンソルネットワークは、最近機械学習タスクに応用されている。 しかし、過去30年間のテンソルネットワークの成功の理由がよく理解されている量子物理学と比較して、これらの技術が機械学習に有効である理由についてはほとんど分かっていない。 本研究の目的は,現在の機械学習アプリケーションにおけるテンソルネットワークモデルの絡み合い特性を調べ,今後の発展を導く一般的な原理を明らかにすることである。 stoudenmire と schwab [adv. in neur. inform. proc. sys. 29, 4799 (2016)] によって考案された,手書き桁のmnistデータセットを用いた教師付き画像分類のためのテンソルネットワークの利用について再検討した。 まず、トレーニング中にテンソルネットワークが学習している状態について仮定する。 その目的のために, 候補状態である ||\sigma_{\ell}\rangle$ (トレーニングセット内の画像に対応する積状態の重ね合わせとして構築) を提案し, その絡み合い特性について検討する。 結論として、$|\sigma_{\ell}\rangle$ は強固に絡み合っており、その仕事で使われるテンソルネットワークでは近似できないため、全く異なる状態を表す必要がある。 第二に、ブロック積構造を持つテンソルネットワークを用い、エンタングルメントは$n \times n$ pixels/qubitsの小さなブロック内で制限される。 これらの状態は非常に表現力が高い(例えば、訓練精度99.97 \%$ for $n=2$)ことは、長距離の絡み合いが画像分類に必須でないことを示唆している。 しかし、現在の実装では、最適化は過度に適合し、その結果、他の現在のアプローチと競合しないテストの精度をもたらす。

関連論文リスト

• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Machine learning with tree tensor networks, CP rank constraints, and tensor dropout [6.385624548310884]
  CPランク制約付きツリーテンソルネットワーク(TTN)とドロップアウトテンソルが機械学習でどのように使用できるかを示す。 分岐比$b=4$の低ランクTTN分類器は、低計算コストでテストセット精度90.3%に達する。
  論文  参考訳（メタデータ） (2023-05-30T22:22:24Z)
• Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor Decompositions [51.19236668224547]
  テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。 テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。 さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
  論文  参考訳（メタデータ） (2022-07-15T11:55:09Z)
• Tensor Network States with Low-Rank Tensors [6.385624548310884]
  テンソルネットワークを構成するテンソルに低ランク制約を課すという考え方を導入する。 この修正により、ネットワーク最適化の時間と複雑さを大幅に削減できる。 テンソル階数 $r$ を$m$ の順序で選ぶことは、高い精度の基底状態近似を得るのに十分である。
  論文  参考訳（メタデータ） (2022-05-30T17:58:16Z)
• Stack operation of tensor networks [10.86105335102537]
  本稿では,テンソルネットワークスタックアプローチに対する数学的に厳密な定義を提案する。 本稿では、行列製品状態に基づく機械学習を例として、主なアイデアを例に挙げる。
  論文  参考訳（メタデータ） (2022-03-28T12:45:13Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
  過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。 以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T00:32:12Z)
• Optimization at the boundary of the tensor network variety [2.1839191255085995]
  テンソルネットワーク状態は、量子多体系の研究で広く用いられる変分アンザッツ類を形成する。 最近の研究により、この多様体の境界上の状態は、物理的興味のある状態に対するより効率的な表現をもたらすことが示されている。 局所ハミルトンの基底状態を見つけるために、このクラスを最適化する方法を示す。
  論文  参考訳（メタデータ） (2020-06-30T16:58:55Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• $\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
  $Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。 我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。 近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
  論文  参考訳（メタデータ） (2020-03-08T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。