論文の概要: Symmetry-guided gradient descent for quantum neural networks
- arxiv url: http://arxiv.org/abs/2404.06108v1
- Date: Tue, 9 Apr 2024 08:19:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 15:29:31.356188
- Title: Symmetry-guided gradient descent for quantum neural networks
- Title(参考訳): 量子ニューラルネットワークの対称性誘導勾配勾配勾配
- Authors: Kaiming Bian, Shitao Zhang, Fei Meng, Wen Zhang, Oscar Dahlsten,
- Abstract要約: 対称性の制約を簡潔な数学的形式に定式化する。
コスト関数に制約を適用する2つの方法を設計します。
我々は対称性誘導勾配降下法(SGGD)と呼ぶ。
- 参考スコア(独自算出の注目度): 5.170906880400192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many supervised learning tasks have intrinsic symmetries, such as translational and rotational symmetry in image classifications. These symmetries can be exploited to enhance performance. We formulate the symmetry constraints into a concise mathematical form. We design two ways to adopt the constraints into the cost function, thereby shaping the cost landscape in favour of parameter choices which respect the given symmetry. Unlike methods that alter the neural network circuit ansatz to impose symmetry, our method only changes the classical post-processing of gradient descent, which is simpler to implement. We call the method symmetry-guided gradient descent (SGGD). We illustrate SGGD in entanglement classification of Werner states and in a binary classification task in a 2-D feature space. In both cases, the results show that SGGD can accelerate the training, improve the generalization ability, and remove vanishing gradients, especially when the training data is biased.
- Abstract(参考訳): 多くの教師付き学習タスクは、画像分類における翻訳対称性や回転対称性のような固有の対称性を持っている。
これらの対称性は性能を高めるために利用することができる。
対称性の制約を簡潔な数学的形式に定式化する。
コスト関数に制約を適用する2つの方法を設計し、それによって、与えられた対称性を尊重するパラメータ選択を優先してコストランドスケープを形成する。
ニューラルネットワークのアンサッツを対称性を付与するために変更する手法とは異なり、我々の手法は勾配降下の古典的な後処理だけを変化させるが、実装は簡単である。
対称誘導勾配降下法(SGGD)と呼ぶ。
本稿では、ワーナー状態の絡み合い分類におけるSGGDと、2次元特徴空間における二項分類タスクについて説明する。
いずれの場合も、SGGDはトレーニングを加速し、一般化能力を改善し、特にトレーニングデータに偏った場合、消滅する勾配を取り除くことができる。
関連論文リスト
- Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳(メタデータ) (2023-10-31T16:15:13Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Symmetry Leads to Structured Constraint of Learning [0.0]
機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。
再スケーリング対称性はスパース性、回転対称性は低いランク性、置換対称性は均質なアンサンブルをもたらすことを示す。
論文 参考訳(メタデータ) (2023-09-29T02:21:31Z) - Symmetries in the dynamics of wide two-layer neural networks [0.0]
無限広2層ReLUニューラルネットワークの集団リスクに対する勾配流の最適設定について(バイアスなしで)考察する。
まず,対象関数$f*$と入力分布で満たされた対称性の一般クラスを動的に保存する。
論文 参考訳(メタデータ) (2022-11-16T08:59:26Z) - Integrating Symmetry into Differentiable Planning with Steerable
Convolutions [5.916280909373456]
等変畳み込みネットワークによって動機付けられた経路計画問題を,グリッド上のテキスト信号として扱う。
この場合の値反復は線型同変作用素であり、これは(ステアブルな)畳み込みであることを示す。
我々の実装はVINに基づいており、対称性を取り入れるためにステアブル畳み込みネットワークを使用している。
論文 参考訳(メタデータ) (2022-06-08T04:58:48Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳(メタデータ) (2021-06-20T04:28:20Z) - Neural Mechanics: Symmetry and Broken Conservation Laws in Deep Learning
Dynamics [26.485269202381932]
トレーニング中のニューラルネットワークパラメータのダイナミクスを理解することは、ディープラーニングの理論基盤を構築する上で重要な課題のひとつだ。
このような対称性は勾配やヘッシアンに厳密な幾何学的制約を課し、関連する保存則を導く。
SGDが有限学習速度で行った数値軌道をよりよく近似する差分方程式である修正勾配流の導出に有限差分法からツールを適用します。
論文 参考訳(メタデータ) (2020-12-08T20:33:30Z) - Channel-Directed Gradients for Optimization of Convolutional Neural
Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。
出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文 参考訳(メタデータ) (2020-08-25T00:44:09Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳(メタデータ) (2020-06-27T19:08:12Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。