論文の概要: Do Quantum Neural Networks have Simplicity Bias?

• arxiv url: http://arxiv.org/abs/2407.03266v1
• Date: Wed, 3 Jul 2024 16:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 13:17:22.520042
• Title: Do Quantum Neural Networks have Simplicity Bias?
• Title（参考訳）: 量子ニューラルネットワークは単純性バイアスを持つか?
• Authors: Jessica Pointing,
• Abstract要約: 本研究では,量子ニューラルネットワーク(QNN)の帰納バイアスと表現性について検討する。 ある種のQNNでは, 単純さのバイアスが可能であることを示すが, この種のQNNはQNNの表現性を制限していることを示す。 また,QNNに高い表現性を持たせることは可能であるが,誘導バイアスや誘導バイアスが乏しいため,DNNと比較して一般化性能が低下することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One hypothesis for the success of deep neural networks (DNNs) is that they are highly expressive, which enables them to be applied to many problems, and they have a strong inductive bias towards solutions that are simple, known as simplicity bias, which allows them to generalise well on unseen data because most real-world data is structured (i.e. simple). In this work, we explore the inductive bias and expressivity of quantum neural networks (QNNs), which gives us a way to compare their performance to those of DNNs. Our results show that it is possible to have simplicity bias with certain QNNs, but we prove that this type of QNN limits the expressivity of the QNN. We also show that it is possible to have QNNs with high expressivity, but they either have no inductive bias or a poor inductive bias and result in a worse generalisation performance compared to DNNs. We demonstrate that an artificial (restricted) inductive bias can be produced by intentionally restricting the expressivity of a QNN. Our results suggest a bias-expressivity tradeoff. Our conclusion is that the QNNs we studied can not generally offer an advantage over DNNs, because these QNNs either have a poor inductive bias or poor expressivity compared to DNNs.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の成功の1つの仮説は、それらが非常に表現力が高く、多くの問題に適用可能であり、単純で、単純さのバイアスとして知られるソリューションに対して強い帰納バイアスを持つことである。 本研究では、量子ニューラルネットワーク(QNN)の帰納バイアスと表現性について検討し、その性能をDNNと比較する方法を提供する。 以上の結果から,ある種のQNNでは単純さの偏りが認められるが,この種のQNNはQNNの表現性を制限することが証明された。 また,QNNに高い表現性を持たせることは可能であるが,誘導バイアスや誘導バイアスが乏しいため,DNNと比較して一般化性能が低下することが示唆された。 我々は,QNNの表現性を意図的に制限することで,人工的(制限された)帰納バイアスを生成できることを実証した。 我々の結果はバイアス-表現力のトレードオフを示唆している。 我々の結論は、これらのQNNは、DNNと比較して誘導バイアスが低いか、あるいは表現性が低いため、私たちが調査したQNNは一般的にはDNNに対して優位に立たない、ということです。

関連論文リスト

• Systematic Reasoning About Relational Domains With Graph Neural Networks [17.49288661342947]
  グラフニューラルネットワーク(GNN)の使用が自然な選択のように思えるリレーショナルドメインの推論に焦点を当てる。 GNNによる推論に関する以前の研究は、トレーニング中に見られるものよりも長い推論チェーンを必要とするテスト例を提示すると、そのようなモデルは失敗する傾向があることを示している。 これは、GNNには、トレーニング例を体系的な方法で一般化する能力がないことを示唆している。
  論文  参考訳（メタデータ） (2024-07-24T16:17:15Z)
• Exploiting the equivalence between quantum neural networks and perceptrons [2.598133279943607]
  パラメタライズド量子回路に基づく量子機械学習モデルは、量子デバイスへの応用において最も有望な候補であると考えられている。 我々はQNNの表現率と帰納バイアスを$x$から$xotimes x$に作用する古典的パーセプトロンへの入力を含むQNNからの正確なマッピングを利用して検討する。
  論文  参考訳（メタデータ） (2024-07-05T09:19:58Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Toward Trainability of Deep Quantum Neural Networks [87.04438831673063]
  ランダムな構造を持つ量子ニューラルネットワーク(QNN)は、回路深さと量子ビット数が増加するにつれて指数関数的に減少する勾配のため、トレーニング性に乏しい。 理論的保証のある深部QNNに対して、消滅する勾配問題に対する最初の実現可能な解決策を提供する。
  論文  参考訳（メタデータ） (2021-12-30T10:27:08Z)
• Towards Fully Interpretable Deep Neural Networks: Are We There Yet? [17.88784870849724]
  Deep Neural Networks(DNN)は、人工知能(AI)システムに対するユーザの信頼を妨げるブラックボックスとして振る舞う。 本報告では,本質的な解釈可能性を持つDNNの開発手法について概説する。
  論文  参考訳（メタデータ） (2021-06-24T16:37:34Z)
• The dilemma of quantum neural networks [63.82713636522488]
  量子ニューラルネットワーク(QNN)は、古典的な学習モデルに対して何の恩恵も与えないことを示す。 QNNは、現実世界のデータセットの一般化が不十分な、極めて限られた有効モデル能力に悩まされている。 これらの結果から、現在のQNNの役割を再考し、量子的優位性で現実の問題を解決するための新しいプロトコルを設計せざるを得ない。
  論文  参考訳（メタデータ） (2021-06-09T10:41:47Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• Spiking Neural Networks with Single-Spike Temporal-Coded Neurons for Network Intrusion Detection [6.980076213134383]
  スパイキングニューラルネット(SNN)は、その強い生物楽観性と高いエネルギー効率のために興味深い。 しかし、その性能は従来のディープニューラルネットワーク(DNN)よりもはるかに遅れている。
  論文  参考訳（メタデータ） (2020-10-15T14:46:18Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning [61.93730166203915]
  我々は、モデルが敵の攻撃に弱い場合、従来の公平性の概念では不十分であると主張する。 頑健性バイアスを測定することはDNNにとって難しい課題であり,この2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-17T22:22:24Z)
• Rethink the Connections among Generalization, Memorization and the Spectral Bias of DNNs [44.5823185453399]
  学習バイアスの単調性は必ずしも保たないことを示す。 深層降下実験では,DNNの高周波成分は訓練後期に減少する。
  論文  参考訳（メタデータ） (2020-04-29T04:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。