論文の概要: Revealing the working mechanism of quantum neural networks by mutual information
- arxiv url: http://arxiv.org/abs/2404.19312v1
- Date: Tue, 30 Apr 2024 07:32:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 15:14:12.804899
- Title: Revealing the working mechanism of quantum neural networks by mutual information
- Title（参考訳）: 相互情報による量子ニューラルネットワークの動作機構の解明
- Authors: Xin Zhang, Yuexian Hou,
- Abstract要約: 量子ニューラルネットワーク(QNN)はパラメータ化された量子回路モデルであり、勾配に基づくトレーニングが可能である。
本稿では,相互情報を用いたQNNの学習メカニズムを明らかにする。
- 参考スコア（独自算出の注目度）: 11.553037166168433
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Quantum neural networks (QNNs) is a parameterized quantum circuit model, which can be trained by gradient-based optimizer, can be used for supervised learning, regression tasks, combinatorial optimization, etc. Although many works have demonstrated that QNNs have better learnability, generalizability, etc. compared to classical neural networks. However, as with classical neural networks, we still can't explain their working mechanism well. In this paper, we reveal the training mechanism of QNNs by mutual information. Unlike traditional mutual information in neural networks, due to quantum computing remains information conserved, the mutual information is trivial of the input and output of U operator. In our work, in order to observe the change of mutual information during training, we divide the quantum circuit (U operator) into two subsystems, discard subsystem (D) and measurement subsystem (M) respectively. We calculate two mutual information, I(Di : Mo) and I(Mi : Mo) (i and o means input or output of the corresponding subsystem), and observe their behavior during training. As the epochs increases, I(Di : Mo) gradually increases, this may means some information of discard subsystem is continuously pushed into the measurement subsystem, the information should be label-related. What's more, I(Mi : Mo) exist two-phase behavior in training process, this consistent with the information bottleneck anticipation. The first phase, I(Mi : Mo) is increasing, this means the measurement subsystem perform feature fitting. The second phase, I(Mi : Mo) is decreasing, this may means the system is generalizing, the measurement subsystem discard label-irrelevant information into the discard subsystem as many as possible. Our work discussed the working mechanism of QNNs by mutual information, further, it can be used to analyze the accuracy and generalization of QNNs.
- Abstract（参考訳）: 量子ニューラルネットワーク(QNN)は、勾配に基づくオプティマイザによってトレーニング可能なパラメータ化量子回路モデルであり、教師付き学習、回帰タスク、組合せ最適化などに使用することができる。
多くの研究が、QNNは古典的ニューラルネットワークに比べて学習性、一般化性等が優れていることを示した。
しかし、古典的なニューラルネットワークと同様に、その動作メカニズムをうまく説明できない。
本稿では,相互情報を用いたQNNの学習メカニズムを明らかにする。
ニューラルネットワークにおける従来の相互情報とは異なり、量子コンピューティングは情報を保存するため、相互情報はU演算子の入力と出力を自明にしている。
本研究では,トレーニング中の相互情報の変化を観察するため,量子回路(U演算子)を2つのサブシステム(D)と測定サブシステム(M)に分割する。
I(Di : Mo) と I(Mi : Mo) の2つの相互情報(i と o は対応するサブシステムの入力または出力を意味する)を計算し、トレーニング中の動作を観察する。
エピックが増加するにつれて、I(Di : Mo) は徐々に増加し、これは、捨てサブシステムの情報が測定サブシステムに連続的にプッシュされることを意味するかもしれない。
さらに、I(Mi : Mo)はトレーニングプロセスに2段階の振る舞いが存在します。
第1フェーズI(Mi : Mo)は増加しており、これは測定サブシステムが特徴フィッティングを行うことを意味する。
第2のフェーズI(Mi : Mo)は減少しており、これはシステムが一般化していることを意味し、測定サブシステムはラベル関連情報をできるだけ多くのサブシステムに捨てる。
本研究は,QNNの動作メカニズムを相互情報を用いて考察し,QNNの精度と一般化を解析するためにも利用できることを示した。
関連論文リスト
- Dissipation-driven quantum generative adversarial networks [11.833077116494929]
本稿では,従来のデータ生成に適した,分散駆動型量子生成逆数ネットワーク(DQGAN)アーキテクチャを提案する。
古典データは、強い調整された散逸過程を通じて入力層の入力量子ビットに符号化される。
出力量子ビットの定常状態の可観測値を測定することにより、生成されたデータと分類結果の両方を抽出する。
論文 参考訳（メタデータ） (2024-08-28T07:41:58Z) - Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。
本稿では,DNNが2段階の相互作用を学習していることを明らかにする。
第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
論文 参考訳（メタデータ） (2024-05-16T17:13:25Z) - Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳（メタデータ） (2024-02-19T19:11:22Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。
ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。
量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
論文 参考訳（メタデータ） (2023-08-22T09:11:53Z) - A didactic approach to quantum machine learning with a single qubit [68.8204255655161]
我々は、データ再ロード技術を用いて、単一のキュービットで学習するケースに焦点を当てる。
我々は、Qiskit量子コンピューティングSDKを用いて、おもちゃと現実世界のデータセットに異なる定式化を実装した。
論文 参考訳（メタデータ） (2022-11-23T18:25:32Z) - Quantum neural networks [0.0]
この論文は、過去数十年で最もエキサイティングな研究分野である量子コンピューティングと機械学習を組み合わせたものだ。
本稿では、汎用量子計算が可能で、トレーニング中にメモリ要求の少ない散逸型量子ニューラルネットワーク(DQNN)を紹介する。
論文 参考訳（メタデータ） (2022-05-17T07:47:00Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Entangled q-Convolutional Neural Nets [0.0]
機械学習モデル、q-CNNモデルを導入し、畳み込みニューラルネットワークと主要な機能を共有し、テンソルネットワーク記述を認めます。
例として、MNISTおよびFashion MNIST分類タスクにq-CNNを適用する。
ネットワークが各分類ラベルに量子状態をどのように関連付けるかを説明し、これらのネットワーク状態の絡み合い構造を研究する。
論文 参考訳（メタデータ） (2021-03-06T02:35:52Z) - Branching Quantum Convolutional Neural Networks [0.0]
小型量子コンピュータは、大規模量子および非常に大規模な古典的データセット上での学習タスクにおいて、既に潜在的な増加を見せている。
本稿では、分岐量子畳み込みニューラルネットワークであるQCNN(bQCNN)を、かなり高い表現性で一般化する。
論文 参考訳（メタデータ） (2020-12-28T19:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。