論文の概要: Exploring Channel Distinguishability in Local Neighborhoods of the Model Space in Quantum Neural Networks

• arxiv url: http://arxiv.org/abs/2410.09470v1
• Date: Sat, 12 Oct 2024 10:20:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 14:14:38.040123
• Title: Exploring Channel Distinguishability in Local Neighborhoods of the Model Space in Quantum Neural Networks
• Title（参考訳）: 量子ニューラルネットワークにおけるモデル空間近傍のチャネルの識別可能性の探索
• Authors: Sabrina Herbst, Sandeep Suresh Cranganore, Vincenzo De Maio, Ivona Brandic,
• Abstract要約: 量子ニューラルネットワーク(QNN)が登場し、注目されている。 QNNはトレーニングが難しいことで知られていますが、これは部分的にはAnsatzesと呼ばれるアーキテクチャによるものだと仮定しています。
• 参考スコア（独自算出の注目度）: 0.5277756703318045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing interest in Quantum Machine Learning, Quantum Neural Networks (QNNs) have emerged and gained significant attention. These models have, however, been shown to be notoriously difficult to train, which we hypothesize is partially due to the architectures, called ansatzes, that are hardly studied at this point. Therefore, in this paper, we take a step back and analyze ansatzes. We initially consider their expressivity, i.e., the space of operations they are able to express, and show that the closeness to being a 2-design, the primarily used measure, fails at capturing this property. Hence, we look for alternative ways to characterize ansatzes by considering the local neighborhood of the model space, in particular, analyzing model distinguishability upon small perturbation of parameters. We derive an upper bound on their distinguishability, showcasing that QNNs with few parameters are hardly discriminable upon update. Our numerical experiments support our bounds and further indicate that there is a significant degree of variability, which stresses the need for warm-starting or clever initialization. Altogether, our work provides an ansatz-centric perspective on training dynamics and difficulties in QNNs, ultimately suggesting that iterative training of small quantum models may not be effective, which contrasts their initial motivation.
• Abstract（参考訳）: 量子機械学習への関心が高まり、量子ニューラルネットワーク(QNN)が登場し、注目を集めている。 しかし、これらのモデルは訓練が難しいことで知られており、この時点ではほとんど研究されていないアンサツェと呼ばれるアーキテクチャが原因だと仮説を立てている。 そこで,本論文では一歩後退して,無菌類を解析する。 最初はそれらの表現性、すなわち表現できる操作空間を考察し、主に使用される測度である2-設計への近さが、この性質を捉えることに失敗することを示す。 したがって、モデル空間の局所的近傍、特にパラメータの小さな摂動によるモデル判別可能性の分析を考慮し、アンサーゼを特徴づける別の方法を模索する。 パラメータが少ないQNNが更新時にほとんど識別できないことを示す。 我々の数値実験は、我々の限界を支持し、また、温かい開始や巧妙な初期化の必要性を強く強調する、大きなばらつきがあることをさらに示している。 さらに、我々の研究は、QNNにおけるトレーニング力学と困難に関するアンザッツ中心の視点を提供し、究極的には、小さな量子モデルの反復的トレーニングは、その初期のモチベーションとは対照的であるかもしれないことを示唆している。

関連論文リスト

• Benign or Not-Benign Overfitting in Token Selection of Attention Mechanism [34.316270145027616]
  注目アーキテクチャのトークン選択機構における良性過剰適合の解析を行う。 私たちの知る限りでは、注意機構に対する良心過剰適合を特徴づける最初の研究である。
  論文  参考訳（メタデータ） (2024-09-26T08:20:05Z)
• Coherent Feed Forward Quantum Neural Network [2.1178416840822027]
  量子ニューラルネットワーク(QNN)に焦点をあてた量子機械学習は、いまだに膨大な研究分野である。 適応可能な中間層とノードの観点から,従来のFFNNの汎用性とシームレスに整合するボナフェイドQNNモデルを提案する。 本研究では,診断乳がん(Wisconsin)やクレジットカード不正検出データセットなど,さまざまなベンチマークデータセットを用いて提案モデルを検証した。
  論文  参考訳（メタデータ） (2024-02-01T15:13:26Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Toward Physically Realizable Quantum Neural Networks [15.018259942339446]
  量子ニューラルネットワーク(QNN)の現在のソリューションは、スケーラビリティに関する課題を提起している。 QNNの指数的状態空間は、トレーニング手順のスケーラビリティに課題をもたらす。 本稿では量子パーセプトロンの転送関数の帯域制限フーリエ展開に依存するQNNの新しいモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-22T23:03:32Z)
• Exponentially Many Local Minima in Quantum Neural Networks [9.442139459221785]
  量子ニューラルネットワーク(QNN)は、古典的ニューラルネットワークと同じような約束のため、重要な量子アプリケーションである。 我々は,QNNの損失関数のランドスケープを定量的に調査し,トレーニング用に単純だが極めて難しいQNNインスタンスのクラスを同定する。 我々は、我々の構成が、典型的な勾配ベースの回路で実際に難しい事例となることを実証的に確認する。
  論文  参考訳（メタデータ） (2021-10-06T03:23:44Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• The dilemma of quantum neural networks [63.82713636522488]
  量子ニューラルネットワーク(QNN)は、古典的な学習モデルに対して何の恩恵も与えないことを示す。 QNNは、現実世界のデータセットの一般化が不十分な、極めて限られた有効モデル能力に悩まされている。 これらの結果から、現在のQNNの役割を再考し、量子的優位性で現実の問題を解決するための新しいプロトコルを設計せざるを得ない。
  論文  参考訳（メタデータ） (2021-06-09T10:41:47Z)
• TimeSHAP: Explaining Recurrent Models through Sequence Perturbations [3.1498833540989413]
  リカレントニューラルネットワークは、多くの機械学習ドメインで標準的なビルディングブロックである。 これらのモデルにおける複雑な意思決定はブラックボックスと見なされ、正確性と解釈可能性の間の緊張を生み出す。 本研究では,モデルに依存しないリカレント説明器であるTimeSHAPを提示することにより,これらのギャップを埋めることに寄与する。
  論文  参考訳（メタデータ） (2020-11-30T19:48:57Z)
• Phase Detection with Neural Networks: Interpreting the Black Box [58.720142291102135]
  ニューラルネットワーク(NN)は通常、予測の背後にある推論に対する洞察を妨げます。 本研究では,1次元拡張スピンレスFermi-Hubbardモデルの位相を半充足で予測するために,NNのブラックボックスをいかに影響関数が解き放つかを示す。
  論文  参考訳（メタデータ） (2020-04-09T17:45:45Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。