論文の概要: Critical Points in Quantum Generative Models
- arxiv url: http://arxiv.org/abs/2109.06957v3
- Date: Thu, 12 Jan 2023 15:40:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 02:45:12.721176
- Title: Critical Points in Quantum Generative Models
- Title(参考訳): 量子生成モデルにおける臨界点
- Authors: Eric R. Anschuetz
- Abstract要約: 本研究では,大域的最小値付近の損失関数の局所最小値のクラスタリングについて検討する。
トレーニング可能性におけるこの遷移の最初の証明は、後者の量子生成モデルに特化している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the most important properties of neural networks is the clustering of
local minima of the loss function near the global minimum, enabling efficient
training. Though generative models implemented on quantum computers are known
to be more expressive than their traditional counterparts, it has empirically
been observed that these models experience a transition in the quality of their
local minima. Namely, below some critical number of parameters, all local
minima are far from the global minimum in function value; above this critical
parameter count, all local minima are good approximators of the global minimum.
Furthermore, for a certain class of quantum generative models, this transition
has empirically been observed to occur at parameter counts exponentially large
in the problem size, meaning practical training of these models is out of
reach. Here, we give the first proof of this transition in trainability,
specializing to this latter class of quantum generative model. We use
techniques inspired by those used to study the loss landscapes of classical
neural networks. We also verify that our analytic results hold experimentally
even at modest model sizes.
- Abstract(参考訳): ニューラルネットワークの最も重要な特性の1つは、グローバル最小付近の損失関数の局所最小値のクラスタリングであり、効率的なトレーニングを可能にする。
量子コンピュータに実装された生成モデルは従来のモデルよりも表現力が高いことが知られているが、これらのモデルが局所的なミニマの品質の遷移を経験することが実証されている。
すなわち、いくつかのパラメータの臨界数以下では、すべての局所ミニマは関数値における大域最小値から遠く離れており、この臨界パラメータ数よりは、すべての局所ミニマは大域最小値のよい近似器である。
さらに、ある種の量子生成モデルでは、この遷移は問題のサイズが指数関数的に大きいパラメータ数で経験的に起こることが観察されている。
ここで、トレーニング可能性におけるこの遷移の最初の証明を与え、後者の量子生成モデルに特化します。
我々は、古典的ニューラルネットワークの損失ランドスケープの研究に使用された技術に着想を得た。
また,解析結果がモデルサイズにおいても実験的に成り立つことを検証する。
関連論文リスト
- Identifying overparameterization in Quantum Circuit Born Machines [1.7259898169307613]
量子回路Bornマシンのオーバーパラメータ化遷移の開始について,非逆勾配法を用いて学習した生成モデルについて検討する。
我々の結果は、これらのモデルのトレーニング可能性を完全に理解することは、未解決の問題であることを示している。
論文 参考訳(メタデータ) (2023-07-06T21:05:22Z) - Conditional Neural Processes for Molecules [0.0]
ニューラルプロセス(NPs)はガウス過程(GPs)に類似した特性を持つ伝達学習のモデルである
本稿では,MLモデルのベンチマークのためのドッキングスコアのデータセットであるDOCKSTRINGに対して,条件付きニューラルプロセス(CNP)を適用する。
CNPは、QSARモデリングに共通する教師付き学習ベースラインに対して、数ショットの学習タスクにおいて、競合する性能を示す。
論文 参考訳(メタデータ) (2022-10-17T16:10:12Z) - Neural network enhanced measurement efficiency for molecular
groundstates [63.36515347329037]
いくつかの分子量子ハミルトニアンの複雑な基底状態波動関数を学習するために、一般的なニューラルネットワークモデルを適用する。
ニューラルネットワークモデルを使用することで、単一コピー計測結果だけで観測対象を再構築するよりも堅牢な改善が得られます。
論文 参考訳(メタデータ) (2022-06-30T17:45:05Z) - PLATON: Pruning Large Transformer Models with Upper Confidence Bound of
Weight Importance [114.1541203743303]
本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。
我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
論文 参考訳(メタデータ) (2022-06-25T05:38:39Z) - Hyperparameter Importance of Quantum Neural Networks Across Small
Datasets [1.1470070927586014]
量子ニューラルネットワークは、ニューラルネットワークと同じような役割を果たす。
機械学習に適した回路アーキテクチャについてはほとんど知られていない。
本研究は量子機械学習モデルを研究するための新しい手法を紹介する。
論文 参考訳(メタデータ) (2022-06-20T20:26:20Z) - Generalization Metrics for Practical Quantum Advantage in Generative
Models [68.8204255655161]
生成モデリングは量子コンピュータにとって広く受け入れられている自然のユースケースである。
我々は,アルゴリズムの一般化性能を計測して,生成モデリングのための実用的な量子優位性を探索する,単純で曖昧な手法を構築した。
シミュレーションの結果、我々の量子にインスパイアされたモデルは、目に見えない、有効なサンプルを生成するのに、最大で68倍の費用がかかります。
論文 参考訳(メタデータ) (2022-01-21T16:35:35Z) - An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。
このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。
また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
論文 参考訳(メタデータ) (2021-10-06T14:18:47Z) - Exponentially Many Local Minima in Quantum Neural Networks [9.442139459221785]
量子ニューラルネットワーク(QNN)は、古典的ニューラルネットワークと同じような約束のため、重要な量子アプリケーションである。
我々は,QNNの損失関数のランドスケープを定量的に調査し,トレーニング用に単純だが極めて難しいQNNインスタンスのクラスを同定する。
我々は、我々の構成が、典型的な勾配ベースの回路で実際に難しい事例となることを実証的に確認する。
論文 参考訳(メタデータ) (2021-10-06T03:23:44Z) - The dilemma of quantum neural networks [63.82713636522488]
量子ニューラルネットワーク(QNN)は、古典的な学習モデルに対して何の恩恵も与えないことを示す。
QNNは、現実世界のデータセットの一般化が不十分な、極めて限られた有効モデル能力に悩まされている。
これらの結果から、現在のQNNの役割を再考し、量子的優位性で現実の問題を解決するための新しいプロトコルを設計せざるを得ない。
論文 参考訳(メタデータ) (2021-06-09T10:41:47Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳(メタデータ) (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。