論文の概要: Training via quantum superposition circumventing local minima and vanishing gradient of sinusoidal neural network

• arxiv url: http://arxiv.org/abs/2410.22016v1
• Date: Tue, 29 Oct 2024 13:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:40:07.091746
• Title: Training via quantum superposition circumventing local minima and vanishing gradient of sinusoidal neural network
• Title（参考訳）: 量子重ね合わせによる正弦波神経回路の局所最小値回避と消失勾配の訓練
• Authors: Zujin Wen, Jin-Long Huang, Oscar Dahlsten,
• Abstract要約: 深層ニューラルネットワーク(SinNN)の量子トレーニングのためのアルゴリズムを提案する。 量子トレーニングは、当初、ウェイト値に対する均一な重ね合わせを、ベストウェイトでピークが保証されるものへと進化させる。 このアルゴリズムをおもちゃの例で実証し、損失関数の最適化において勾配降下を実際に上回り、必要な時間でブルート力探索を上回ります。
• 参考スコア（独自算出の注目度）: 0.6021787236982659
• License:
• Abstract: Deep neural networks have been very successful in applications ranging from computer vision and natural language processing to strategy optimization in games. Recently neural networks with sinusoidal activation functions (SinNN) were found to be ideally suited for representing complex natural signals and their fine spatial and temporal details, which makes them effective representations of images, sound, and video, and good solvers of differential equations. However, training SinNN via gradient descent often results in bad local minima, posing a significant challenge when optimizing their weights. Furthermore, when the weights are discretized for better memory and inference efficiency on small devices, we find that a vanishing gradient problem appears on the resulting discrete SinNN (DSinNN). Brute force search provides an alternative way to find the best weights for DSinNN but is intractable for a large number of parameters. We here provide a qualitatively different training method: an algorithm for quantum training of DSinNNs. The quantum training evolves an initially uniform superposition over weight values to one that is guaranteed to peak on the best weights. We demonstrate the algorithm on toy examples and show that it indeed outperforms gradient descent in optimizing the loss function and outperforms brute force search in the time required.
• Abstract（参考訳）: ディープニューラルネットワークは、コンピュータビジョンや自然言語処理からゲームにおける戦略最適化に至るまで、非常に成功した。 近年, 正弦波活性化関数(SinNN)を持つニューラルネットワークは, 複雑な自然信号とその微細な空間的・時間的詳細を表現するのに最適であることが判明した。 しかし、SinNNの勾配勾配降下によるトレーニングは、しばしば悪い局所性ミニマを生じさせ、体重を最適化する上で重大な課題を生じさせる。 さらに、小型デバイス上でのメモリと推論効率の向上のために重みが離散化されると、結果として生じる離散SinNN(DSinNN)に消失する勾配問題が発生する。 ブリュート力探索はDSinNNに最適な重みを求める代替手段を提供するが、多くのパラメーターに対して難解である。 本稿では、DSinNNの量子トレーニングのためのアルゴリズムである定性的に異なるトレーニング方法を提案する。 量子トレーニングは、当初、ウェイト値に対する均一な重ね合わせを、ベストウェイトでピークが保証されるものへと進化させる。 このアルゴリズムをおもちゃの例で実証し、損失関数の最適化において勾配降下を実際に上回り、必要な時間でブルート力探索を上回ります。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Training Artificial Neural Networks by Coordinate Search Algorithm [0.20971479389679332]
  本稿では、ニューラルネットワークのトレーニングのための勾配自由座標探索(CS)アルゴリズムの効率的なバージョンを提案する。 提案アルゴリズムは、微分不可能なアクティベーション関数で使用することができ、多目的/マルチロス問題に適合する。 ANNの重みに対する最適値を求めることは、大規模な最適化問題である。
  論文  参考訳（メタデータ） (2024-02-20T01:47:25Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
  深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。 これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。 本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
  論文  参考訳（メタデータ） (2022-02-15T06:42:25Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Efficient training of physics-informed neural networks via importance sampling [2.9005223064604078]
  Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。 重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
  論文  参考訳（メタデータ） (2021-04-26T02:45:10Z)
• GradFreeBits: Gradient Free Bit Allocation for Dynamic Low Precision Neural Networks [4.511923587827301]
  量子ニューラルネットワーク(QNN)は、低リソースエッジデバイスにディープニューラルネットワークをデプロイするための主要なアプローチのひとつだ。 動的QNNを訓練するための新しい共同最適化スキームであるGradFreeBitsを提案する。 本手法はCIFAR10/100上での最先端の低精度ニューラルネットワークと画像ネットの分類を同等あるいは同等の性能で実現している。
  論文  参考訳（メタデータ） (2021-02-18T12:18:09Z)
• SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
  重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。 二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
  論文  参考訳（メタデータ） (2021-02-16T07:03:51Z)
• Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
  本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。 アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
  論文  参考訳（メタデータ） (2020-08-25T15:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。