論文の概要: Stable and efficient differentiation of tensor network algorithms

• arxiv url: http://arxiv.org/abs/2311.11894v3
• Date: Fri, 24 Nov 2023 09:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 01:59:50.591706
• Title: Stable and efficient differentiation of tensor network algorithms
• Title（参考訳）: テンソルネットワークアルゴリズムの安定かつ効率的な微分
• Authors: Anna Francuz, Norbert Schuch, Bram Vanhecke
• Abstract要約: 勾配に基づく最適化法は、2次元の強い絡み合った量子系を研究するために用いられる。 勾配自体は、コーナー転送行列(CTM)ベースのアプローチの場合、正確かつ確実に計算することが困難であることが証明されている。 勾配を計算する最もよく知られたツールである自動微分(AD)は、依然としていくつかの重大な欠点を被っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient based optimization methods are the established state-of-the-art paradigm to study strongly entangled quantum systems in two dimensions with Projected Entangled Pair States. However, the key ingredient, the gradient itself, has proven challenging to calculate accurately and reliably in the case of a corner transfer matrix (CTM)-based approach. Automatic differentiation (AD), which is the best known tool for calculating the gradient, still suffers some crucial shortcomings. Some of these are known, like the problem of excessive memory usage and the divergences which may arise when differentiating a singular value decomposition (SVD). Importantly, we also find that there is a fundamental inaccuracy in the currently used backpropagation of SVD that had not been noted before. In this paper, we describe all these problems and provide them with compact and easy to implement solutions. We analyse the impact of these changes and find that the last problem -- the use of the correct gradient -- is by far the dominant one and thus should be considered a crucial patch to any AD application that makes use of an SVD for truncation.
• Abstract（参考訳）: 勾配に基づく最適化法は、射影絡み合ったペア状態を持つ2次元の強い絡み合った量子システムを研究するための確立された最先端パラダイムである。 しかし,角移動行列(CTM)に基づくアプローチでは,重要な成分である勾配そのものが正確かつ確実に計算することが困難であることが証明されている。 勾配を計算する最もよく知られたツールである自動微分(AD)は、依然としていくつかの重大な欠点を被っている。 これらのいくつかは、過剰なメモリ使用の問題や、特異値分解(SVD)を微分する際に生じる発散など、知られている。 また,現在使用されているSVDのバックプロパゲーションには,これまで注目されていなかった根本的な不正確性があることが判明した。 本稿では,これらの問題をすべて説明し,コンパクトで実装が容易なソリューションを提供する。 これらの変更の影響を分析して、最後の問題(正しい勾配の使用)が圧倒的に支配的な問題であることに気付きました。

関連論文リスト

• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Stochastic Gradient Methods with Preconditioned Updates [47.23741709751474]
  このような問題に対するアルゴリズムはいくつかあるが、既存の手法は、スケールが悪く、あるいは条件が悪ければ、しばしばうまく機能しない。 ここではハッチンソンの対角ヘッセン近似のアプローチに基づく前提条件を含む。 我々は滑らかさとPL条件が仮定されるときの収束性を証明する。
  論文  参考訳（メタデータ） (2022-06-01T07:38:08Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Stochastic Reweighted Gradient Descent [4.355567556995855]
  SRG(stochastic reweighted gradient)と呼ばれる重要サンプリングに基づくアルゴリズムを提案する。 我々は、提案手法の時間とメモリオーバーヘッドに特に注意を払っています。 我々はこの発見を裏付ける実験結果を示す。
  論文  参考訳（メタデータ） (2021-03-23T04:09:43Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)
• Transferable Calibration with Lower Bias and Variance in Domain Adaptation [139.4332115349543]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。 DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。 TransCalは既存のDAメソッドの校正に簡単に適用できる。
  論文  参考訳（メタデータ） (2020-07-16T11:09:36Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• A Relational Gradient Descent Algorithm For Support Vector Machine Training [15.338931971492288]
  我々は、データをリレーショナル形式にする場合に、SVM(Support Vector Machine)トレーニングのためのアルゴリズムのような勾配勾配を考える。 まず、SVM の目的関数の勾配の定数近似が非巡回結合に対しても$#P$-hardであることを示すことによって、減算問題を克服できないことを示す。 我々は、実際の勾配を用いて達成されたものと同等の速度で安定したインスタンスの収束を保証する疑似勾配'を計算する効率的なアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-05-11T17:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。