論文の概要: Deep learned SVT: Unrolling singular value thresholding to obtain better MSE

• arxiv url: http://arxiv.org/abs/2105.06934v1
• Date: Fri, 14 May 2021 16:23:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 15:13:33.583031
• Title: Deep learned SVT: Unrolling singular value thresholding to obtain better MSE
• Title（参考訳）: 深層学習SVT:より良いMSEを得るために特異値しきい値の展開
• Authors: Siva Shanmugam, Sheetal Kalyani
• Abstract要約: 特異値しきい値(SVT)アルゴリズムと呼ばれる一般的な反復アルゴリズムを解き放つことにより、トレーニング可能なディープニューラルネットワークを提案する。 提案した固定層(例えば T )を持つ LSVT は, SVT が固定 T の反復数で発生する行列と比較して, 平均二乗誤差 (MSE) が低い行列を再構築する。
• 参考スコア（独自算出の注目度）: 15.554148012395457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Affine rank minimization problem is the generalized version of low rank matrix completion problem where linear combinations of the entries of a low rank matrix are observed and the matrix is estimated from these measurements. We propose a trainable deep neural network by unrolling a popular iterative algorithm called the singular value thresholding (SVT) algorithm to perform this generalized matrix completion which we call Learned SVT (LSVT). We show that our proposed LSVT with fixed layers (say T) reconstructs the matrix with lesser mean squared error (MSE) compared with that incurred by SVT with fixed (same T) number of iterations and our method is much more robust to the parameters which need to be carefully chosen in SVT algorithm.
• Abstract（参考訳）: アフィン階数最小化問題は、低階数行列の成分の線形結合を観測し、これらの測定値から行列を推定する低階数行列完備化問題の一般化版である。 そこで本研究では,singular value thresholding (svt) アルゴリズムと呼ばれる一般的な反復アルゴリズムを用いて,学習されたsvt (lsvt) と呼ばれる一般化行列補完を行うことにより,学習可能なディープニューラルネットワークを提案する。 提案手法は,固定層(例えばT)を持つ LSVT において, SVT が繰り返し回数を固定した SVT よりも少ない平均二乗誤差 (MSE) で行列を再構成し, SVT アルゴリズムで慎重に選択する必要があるパラメータに対して, より堅牢であることを示す。

関連論文リスト

• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods [50.67996219968513]
  本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。 入力空間の次元の2次パースタンスコストで精度よく近似的な再帰を実現する。 我々は,実世界の風速予測ケーススタディにおいて,オンラインMTL法と他の競技者との比較を行った。
  論文  参考訳（メタデータ） (2023-08-03T01:41:34Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Low-Rank Extragradient Method for Nonsmooth and Low-Rank Matrix Optimization Problems [19.930021245647705]
  低ランクおよび非滑らかな行列最適化問題は統計学や機械学習における多くの基本的なタスクを捉えている。 本稿では,このような問題に対する標準凸緩和について考察する。 テキストテキストラグラディエント法は,1イテレーションあたり2つのテキスト低ランクSVDしか必要とせず,$O (1/t)$のレートで最適解に収束することを示す。
  論文  参考訳（メタデータ） (2022-02-08T17:47:40Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• A Tensor SVD-based Classification Algorithm Applied to fMRI Data [0.0]
  行列SVDのテンソルアナログである t-SVDM を用いた投影型分類アルゴリズムを用いる。 数値実験により、fMRI分類に最適なテンソルベースアプローチが存在することが示された。
  論文  参考訳（メタデータ） (2021-10-31T20:39:23Z)
• Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method [47.80060761046752]
  ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。 この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。 RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。 本稿では、近年のローワークの動機付けについて述べる。
  論文  参考訳（メタデータ） (2020-08-18T04:46:22Z)
• Faster SVM Training via Conjugate SMO [0.0]
  本稿では,SMOアルゴリズムの改良版を提案する。 この新しいアプローチは、各イテレーションの計算コストをわずかに増加させるだけである。 我々は、この新しい共役SMOの反復の収束と、カーネル行列が正定値であるときの線形速度を証明した。
  論文  参考訳（メタデータ） (2020-03-19T12:50:13Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。