論文の概要: Improvements to Gradient Descent Methods for Quantum Tensor Network Machine Learning

• arxiv url: http://arxiv.org/abs/2203.03366v1
• Date: Thu, 3 Mar 2022 19:00:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-12 05:59:46.461905
• Title: Improvements to Gradient Descent Methods for Quantum Tensor Network Machine Learning
• Title（参考訳）: 量子テンソルネットワーク機械学習における勾配降下法の改良
• Authors: Fergus Barratt, James Dborin, Lewis Wright
• Abstract要約: 任意のテンソルネットワークの初期化に成功したコピーノード方式を提案する。 本稿では、量子インスパイアされたテンソルネットワークモデルを生成する手法の組み合わせを示す数値的な結果を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor networks have demonstrated significant value for machine learning in a myriad of different applications. However, optimizing tensor networks using standard gradient descent has proven to be difficult in practice. Tensor networks suffer from initialization problems resulting in exploding or vanishing gradients and require extensive hyperparameter tuning. Efforts to overcome these problems usually depend on specific network architectures, or ad hoc prescriptions. In this paper we address the problems of initialization and hyperparameter tuning, making it possible to train tensor networks using established machine learning techniques. We introduce a `copy node' method that successfully initializes arbitrary tensor networks, in addition to a gradient based regularization technique for bond dimensions. We present numerical results that show that the combination of techniques presented here produces quantum inspired tensor network models with far fewer parameters, while improving generalization performance.
• Abstract（参考訳）: テンソルネットワークは、無数の異なるアプリケーションで機械学習に重要な価値を示している。 しかし、標準勾配勾配勾配を用いたテンソルネットワークの最適化は実際は困難であることが証明されている。 テンソルネットワークは初期化の問題に悩まされ、爆発的あるいは消滅し、広範なハイパーパラメータチューニングを必要とする。 これらの問題を解決する努力は、通常、特定のネットワークアーキテクチャ、またはアドホック処方薬に依存する。 本稿では、初期化とハイパーパラメータチューニングの問題に対処し、確立された機械学習技術を用いてテンソルネットワークのトレーニングを可能にする。 本稿では,任意のテンソルネットワークを初期化する「コピーノード」法と,結合次元に対する勾配に基づく正則化手法を導入する。 本稿では, 量子インスパイアされたテンソルネットワークモデルと, パラメータをはるかに少なく生成し, 一般化性能を向上することを示す数値計算結果を提案する。

関連論文リスト

• Robust Weight Initialization for Tanh Neural Networks with Fixed Point Analysis [5.016205338484259]
  提案手法は既存手法よりもネットワークサイズの変化に頑健である。 物理インフォームドニューラルネットワークに適用すると、ネットワークサイズの変化に対するより高速な収束とロバスト性を示す。
  論文  参考訳（メタデータ） (2024-10-03T06:30:27Z)
• Quick design of feasible tensor networks for constrained combinatorial optimization [1.8775413720750924]
  近年,実用化のための制約付き最適化問題に対して,テンソルネットワークが適用されている。 1つのアプローチは、nilpotent-matrix操作でテンソルネットワークを構築することである。 提案手法は,制約付き最適化問題に対する実現可能なテンソルネットワークの発見を容易にすることが期待されている。
  論文  参考訳（メタデータ） (2024-09-03T08:36:23Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Training Thinner and Deeper Neural Networks: Jumpstart Regularization [2.8348950186890467]
  我々は、神経細胞が死滅したり線状になるのを防ぐために正規化を使用します。 従来のトレーニングと比較して、より薄く、より深く、そして(最も重要な)よりパラメータ効率の高いニューラルネットワークが得られます。
  論文  参考訳（メタデータ） (2022-01-30T12:11:24Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Anomaly Detection with Tensor Networks [2.3895981099137535]
  テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。 画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
  論文  参考訳（メタデータ） (2020-06-03T20:41:30Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Molecule Property Prediction and Classification with Graph Hypernetworks [113.38181979662288]
  ネットワークをハイパーネットワークに置き換えることで性能が向上することを示す。 ハイパーネットワークの適用において大きな困難は、安定性の欠如である。 最近の研究は、エラー訂正コードのコンテキストにおいて、ハイパーネットワークのトレーニング不安定性に取り組んでいる。
  論文  参考訳（メタデータ） (2020-02-01T16:44:34Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。