論文の概要: Singular value decomposition based matrix surgery

• arxiv url: http://arxiv.org/abs/2302.11446v1
• Date: Wed, 22 Feb 2023 15:30:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 14:45:07.436481
• Title: Singular value decomposition based matrix surgery
• Title（参考訳）: 特異値分解に基づくマトリックス手術
• Authors: Jehan Ghafuri, Sabah Jassim
• Abstract要約: ランダム行列の条件数を減らし,制御する手法を開発した。 良条件行列および不条件行列の点雲の持続的ホモロジー(PH)への影響について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper aims to develop a simple procedure to reduce and control the condition number of random matrices, and investigate the effect on the persistent homology (PH) of point clouds of well- and ill-conditioned matrices. For a square matrix generated randomly using Gaussian/Uniform distribution, the SVD-Surgery procedure works by: (1) computing its singular value decomposition (SVD), (2) replacing the diagonal factor by changing a list of the smaller singular values by a convex linear combination of the entries in the list, and (3) compute the new matrix by reversing the SVD. Applying SVD-Surgery on a matrix often results in having different diagonal factor to those of the input matrix. The spatial distribution of random square matrices are known to be correlated to the distribution of their condition numbers. The persistent homology (PH) investigations, therefore, are focused on comparing the effect of SVD-Surgery on point clouds of large datasets of randomly generated well-conditioned and ill-conditioned matrices, as well as that of the point clouds formed by their inverses. This work is motivated by the desire to stabilise the impact of Deep Learning (DL) training on medical images in terms of the condition numbers of their sets of convolution filters as a mean of reducing overfitting and improving robustness against tolerable amounts of image noise. When applied to convolution filters during training, the SVD-Surgery acts as a spectral regularisation of the DL model without the need for learning extra parameters. We shall demonstrate that for several point clouds of sufficiently large convolution filters our simple strategy preserve filters norm and reduces the norm of its inverse depending on the chosen linear combination parameters. Moreover, our approach showed significant improvements towards the well-conditioning of matrices and stable topological behaviour.
• Abstract（参考訳）: 本稿では,無作為行列の条件数を減らし,制御するための簡単な手法を開発し,良質行列と悪質行列の点雲の持続的ホモロジー(PH)への影響について検討する。 ガウス/ユニフォーム分布を用いてランダムに生成される正方行列に対して、SVD-Surgery法は、(1)特異値分解(SVD)を計算し、(2)より小さい特異値のリストをリスト内のエントリの凸線型結合で変更し、(3)新たな行列をSVDを反転して計算する。 SVD-Surgeryを行列に適用すると、しばしば入力行列と異なる対角係数を持つ。 ランダム正方行列の空間分布は、それらの条件数の分布と相関することが知られている。 したがって、持続的ホモロジー (PH) 調査は、SVD-Surgery がランダムに生成された良条件行列と不条件行列の大規模データセットの点雲およびそれらの逆によって形成される点雲に与える影響を比較することに焦点を当てている。 本研究は, 画像雑音に対する過度な収差低減とロバスト性向上の手段として, 畳み込みフィルタの条件数の観点から, 深層学習(DL)訓練が医用画像に与える影響を安定化したいという願望に動機付けられている。 訓練中の畳み込みフィルタに適用すると、SVD-Surgeryは余分なパラメータを学習することなくDLモデルのスペクトル正則化として機能する。 十分大きな畳み込みフィルタを持ついくつかの点の雲に対して、この単純な戦略はフィルタのノルムを保持し、選択された線形結合パラメータによってその逆のノルムを減少させる。 さらに, この手法は, 行列の調和と安定な位相挙動に対する顕著な改善を示した。

関連論文リスト

• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Fitting Multilevel Factor Models [41.38783926370621]
  我々は,多段階因子モデルに適した期待最大化アルゴリズムの,新しい高速実装を開発する。 可逆PSD MLR行列の逆もまた、因子の間隔が同じMLR行列であることを示す。 線形時間と空間複素量を持つ拡張行列のコレスキー分解を計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-18T15:39:12Z)
• Learning Sparse High-Dimensional Matrix-Valued Graphical Models From Dependent Data [12.94486861344922]
  スパース,高次元,定常行列-ガウス時系列の条件独立グラフ(CIG)を推定する問題を考察する。 我々は、Kronecker分解性パワースペクトル密度(PSD)による問題をスパースベースで定式化することを考える。 合成データと実データの両方を利用した数値例を用いて,本手法について述べる。
  論文  参考訳（メタデータ） (2024-04-29T19:32:50Z)
• Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
  本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。 MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。 理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
  論文  参考訳（メタデータ） (2023-08-26T06:12:33Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method [47.80060761046752]
  ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。 この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。 RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。 本稿では、近年のローワークの動機付けについて述べる。
  論文  参考訳（メタデータ） (2020-08-18T04:46:22Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)
• A Block Coordinate Descent-based Projected Gradient Algorithm for Orthogonal Non-negative Matrix Factorization [0.0]
  本稿では非負行列分解問題(NMF)に対する投影勾配法(PG)を用いる。 正則性制約をペナライズし,ブロック座標降下法を用いてPG法を適用した。
  論文  参考訳（メタデータ） (2020-03-23T13:24:43Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。