論文の概要: Residual Matrix Product State for Machine Learning
- arxiv url: http://arxiv.org/abs/2012.11841v1
- Date: Tue, 22 Dec 2020 05:44:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 07:37:26.953666
- Title: Residual Matrix Product State for Machine Learning
- Title（参考訳）: 機械学習のための残留マトリックス製品状態
- Authors: Ye-Ming Meng, Jing Zhang, Peng Zhang, Chao Gao and Shi-Ju Ran
- Abstract要約: 行列生成状態 (MPS) と残存ニューラルネットワーク (NN) のアイデアを組み合わせることで, 残留行列生成状態 (ResMPS) を提案する。
ResMPSは層が"隠された"特徴を出力にマッピングするネットワークとして扱うことができる。
それは効率、安定性および表現力の最先端のTNモデルより優秀です。
- 参考スコア（独自算出の注目度）: 20.158215120846652
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor network (TN), which originates from quantum physics, shows broad
prospects in classical and quantum machine learning (ML). However, there still
exists a considerable gap of accuracy between TN and the sophisticated neural
network (NN) models for classical ML. It is still elusive how far TN ML can be
improved by, e.g., borrowing the techniques from NN. In this work, we propose
the residual matrix product state (ResMPS) by combining the ideas of matrix
product state (MPS) and residual NN. ResMPS can be treated as a network where
its layers map the "hidden" features to the outputs (e.g., classifications),
and the variational parameters of the layers are the functions of the features
of samples (e.g., pixels of images). This is essentially different from NN,
where the layers map feed-forwardly the features to the output. ResMPS can
naturally incorporate with the non-linear activations and dropout layers, and
outperforms the state-of-the-art TN models on the efficiency, stability, and
expression power. Besides, ResMPS is interpretable from the perspective of
polynomial expansion, where the factorization and exponential machines
naturally emerge. Our work contributes to connecting and hybridizing neural and
tensor networks, which is crucial to understand the working mechanisms further
and improve both models' performances.
- Abstract（参考訳）: 量子物理学から派生したテンソルネットワーク(TN)は、古典的および量子機械学習(ML)において幅広い展望を示している。
しかし、TNと古典MLのための洗練されたニューラルネットワーク(NN)モデルの間には、かなりの精度のギャップがある。
TN MLがNNから技術を借りるなど、どこまで改善できるかはまだ解明されていない。
本稿では, 残留行列積状態 (ResMPS) と残留 NN のアイデアを組み合わせることで, 残留行列積状態 (ResMPS) を提案する。
ResMPSは、その層が「隠された」特徴を出力(例えば、分類)にマッピングするネットワークとして扱うことができ、層の変動パラメータはサンプルの特徴(例えば、画像のピクセル)の関数である。
これは本質的にNNと異なり、レイヤは出力に機能をフォワードにマップする。
ResMPSは、非線形活性化層とドロップアウト層を自然に組み込むことができ、効率、安定性、表現力において最先端のTNモデルより優れている。
さらに、ResMPSは多項式展開の観点から解釈可能であり、因数分解と指数機械が自然に現れる。
私たちの研究は、ニューラルネットワークとテンソルネットワークの接続とハイブリダイゼーションに寄与しています。
関連論文リスト
- Deep Tree Tensor Networks for Image Recognition [1.8434042562191815]
本稿では,ittextbfDeep textbfTree textbfTensor textbfNetwork (DTTN) という新しいアーキテクチャを紹介する。
DTTNは、マルチ線形操作を通じて、機能間での2L$の乗法的相互作用をキャプチャする。
理論的には、特定の条件下での量子インスパイアされたTNモデルと相互作用するネットワークの等価性を明らかにする。
論文 参考訳（メタデータ） (2025-02-14T05:41:33Z) - Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - A Matrix Product State Model for Simultaneous Classification and Generation [0.8192907805418583]
量子機械学習(Quantum Machine Learning, QML)は、量子コンピューティングの原理と機械学習の技法を融合させる、急速に拡大する分野である。
本稿では,MPSが分類器と生成器の両方として機能する新しい行列積状態(MPS)モデルを提案する。
我々のコントリビューションは、生成タスクのためのテンソルネットワークメソッドのメカニズムに関する洞察を提供する。
論文 参考訳（メタデータ） (2024-06-25T10:23:36Z) - Equivariant Matrix Function Neural Networks [1.8717045355288808]
解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。
MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
論文 参考訳（メタデータ） (2023-10-16T14:17:00Z) - Neural Functional Transformers [99.98750156515437]
本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。
NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。
Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
論文 参考訳（メタデータ） (2023-05-22T23:38:27Z) - Towards Neural Variational Monte Carlo That Scales Linearly with System
Size [67.09349921751341]
量子多体問題(Quantum many-body problem)は、例えば高温超伝導体のようなエキゾチックな量子現象をデミストする中心である。
量子状態を表すニューラルネットワーク(NN)と変分モンテカルロ(VMC)アルゴリズムの組み合わせは、そのような問題を解決する上で有望な方法であることが示されている。
ベクトル量子化技術を用いて,VMCアルゴリズムの局所エネルギー計算における冗長性を利用するNNアーキテクチャVector-Quantized Neural Quantum States (VQ-NQS)を提案する。
論文 参考訳（メタデータ） (2022-12-21T19:00:04Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Variational learning of quantum ground states on spiking neuromorphic
hardware [0.0]
高次元サンプリング空間と過渡自己相関は、難しい計算ボトルネックを伴うニューラルネットワークに直面する。
従来のニューラルネットワークと比較して、物理モデルデバイスは高速で効率的で本質的に並列な基板を提供する。
変動エネルギー最小化による量子スピンモデルの基底状態を表すニューロモルフィックチップの能力を示す。
論文 参考訳（メタデータ） (2021-09-30T14:39:45Z) - Representation Theorem for Matrix Product States [1.7894377200944511]
本稿では, 行列積状態(MPS)の普遍的表現能力について, 関数と連続関数の観点から検討する。
任意のゲートに対して対応するMPS構造の構築方法を提供することにより、MPSが任意の機能を正確に実現できることを示した。
我々は,MPSとニューラルネットワークの関係について検討し,スケール不変なシグモダル関数を持つMPSが一層ニューラルネットワークと等価であることを示す。
論文 参考訳（メタデータ） (2021-03-15T11:06:54Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳（メタデータ） (2020-04-08T06:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。