論文の概要: Robust Differentiable SVD

• arxiv url: http://arxiv.org/abs/2104.03821v1
• Date: Thu, 8 Apr 2021 15:04:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 13:03:55.856052
• Title: Robust Differentiable SVD
• Title（参考訳）: ロバスト微分可能SVD
• Authors: Wei Wang, Zheng Dang, Yinlin Hu, Pascal Fua and Mathieu Salzmann
• Abstract要約: 対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。 不安定性は互いに近い固有値の存在によって生じる。 SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
• 参考スコア（独自算出の注目度）: 117.35644933471401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Eigendecomposition of symmetric matrices is at the heart of many computer vision algorithms. However, the derivatives of the eigenvectors tend to be numerically unstable, whether using the SVD to compute them analytically or using the Power Iteration (PI) method to approximate them. This instability arises in the presence of eigenvalues that are close to each other. This makes integrating eigendecomposition into deep networks difficult and often results in poor convergence, particularly when dealing with large matrices. While this can be mitigated by partitioning the data into small arbitrary groups, doing so has no theoretical basis and makes it impossible to exploit the full power of eigendecomposition. In previous work, we mitigated this using SVD during the forward pass and PI to compute the gradients during the backward pass. However, the iterative deflation procedure required to compute multiple eigenvectors using PI tends to accumulate errors and yield inaccurate gradients. Here, we show that the Taylor expansion of the SVD gradient is theoretically equivalent to the gradient obtained using PI without relying in practice on an iterative process and thus yields more accurate gradients. We demonstrate the benefits of this increased accuracy for image classification and style transfer.
• Abstract（参考訳）: 対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。 しかし、固有ベクトルの微分は数値的に不安定である傾向があり、SVDを用いて解析的に計算するか、パワーイテレーション(PI)法を用いて近似する。 この不安定性は互いに近い固有値の存在によって生じる。 これにより、固有分解をディープネットワークに組み込むことが難しくなり、特に大きな行列を扱う場合、しばしば収束が低下する。 これは、データを小さな任意のグループに分割することで緩和できるが、理論的根拠がなく、固有分解の全力を活用できない。 これまでの研究では,前方通過時のSVDと後方通過時の勾配を計算するためにPIを用いてこれを緩和した。 しかし、PIを用いて複数の固有ベクトルを計算するのに必要な反復デフレ手順は誤りを蓄積し、不正確な勾配をもたらす傾向にある。 ここでは, SVD勾配のテイラー展開が, 反復過程に頼らずにPIを用いて得られる勾配と理論的に等価であることを示し, より正確な勾配を得る。 この精度の向上による画像分類とスタイル転送の利点を実証する。

関連論文リスト

• Contraction rates for conjugate gradient and Lanczos approximate posteriors in Gaussian process regression [0.0]
  我々は確率的数値の分野から最近提案された近似アルゴリズムのクラスを分析する。 数値解析結果とカーネル行列のスペクトルのアート集中結果の状態を組み合わせ、最小値の収縮率を求める。
  論文  参考訳（メタデータ） (2024-06-18T14:50:42Z)
• Quantum state tomography via non-convex Riemannian gradient descent [13.100184125419691]
  本研究では,kappa$のスケール依存性を改善する量子状態トモグラフィースキームを導出する。 この改良は、非多様体勾配(RGD)アルゴリズムの適用によるものである。 超高速収束とほぼ最適誤差境界の理論的結果は数値的な結果と相関する。
  論文  参考訳（メタデータ） (2022-10-10T14:19:23Z)
• Nonparametric Factor Trajectory Learning for Dynamic Tensor Decomposition [20.55025648415664]
  動的テンソル分解(NONFAT)のためのNON FActor Trajectory Learningを提案する。 我々は第2レベルのGPを用いてエントリ値をサンプリングし、エンティティ間の時間的関係をキャプチャする。 実世界のいくつかの応用において,本手法の利点を示した。
  論文  参考訳（メタデータ） (2022-07-06T05:33:00Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Alternating Mahalanobis Distance Minimization for Stable and Accurate CP Decomposition [4.847980206213335]
  本稿では, テンソルの特異値とベクトルを導出するための新しい定式化を導入する。 このアルゴリズムのサブスウィープは、既知のランクの正確なCPDに対して超線形収束率を達成することができることを示す。 すると、アルゴリズムは各因子に対するマハラノビス距離を最適化するものであり、基底距離は他の因子に依存していると見なす。
  論文  参考訳（メタデータ） (2022-04-14T19:56:36Z)
• ViViT: Curvature access through the generalized Gauss-Newton's low-rank structure [26.24282086797512]
  ヘッセンあるいはその一般化されたガウスニュートン(GGN)近似の形での曲線は、深層ネットワークの訓練、圧縮、説明の損失に局所モデルに依存するアルゴリズムに有用である。 本稿では,GGNの低ランク構造を利用した曲率モデルViViTを提案する。
  論文  参考訳（メタデータ） (2021-06-04T17:37:47Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Error Estimation for Sketched SVD via the Bootstrap [60.67199274260768]
  本稿では,スケッチ化された特異ベクトル/値の実際の誤差を数値的に推定する完全データ駆動型ブートストラップ法を開発した。 この方法は、スケッチされたオブジェクトのみで動作するため、計算コストが安い。
  論文  参考訳（メタデータ） (2020-03-10T19:14:08Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。