論文の概要: Differentiable SVD based on Moore-Penrose Pseudoinverse for Inverse Imaging Problems

• arxiv url: http://arxiv.org/abs/2411.14141v1
• Date: Thu, 21 Nov 2024 14:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:19:54.807524
• Title: Differentiable SVD based on Moore-Penrose Pseudoinverse for Inverse Imaging Problems
• Title（参考訳）: Moore-Penrose Pseudoinverse を用いた逆画像問題に対する微分SVD
• Authors: Yinghao Zhang, Yue Hu,
• Abstract要約: 特異値分解の非微分性は、本質的に線形方程式の過小決定によるものであることを示す。 ムーア-ペンローズ擬似逆数を用いてシステムを解くことにより、微分可能なSVDを提案する。 カラー画像圧縮センシングと動的MRI再構成による実験結果から,提案した微分可能SVDが数値不安定性問題に効果的に対処できることが示唆された。
• 参考スコア（独自算出の注目度）: 7.466874119963763
• License:
• Abstract: Low-rank regularization-based deep unrolling networks have achieved remarkable success in various inverse imaging problems (IIPs). However, the singular value decomposition (SVD) is non-differentiable when duplicated singular values occur, leading to severe numerical instability during training. In this paper, we propose a differentiable SVD based on the Moore-Penrose pseudoinverse to address this issue. To the best of our knowledge, this is the first work to provide a comprehensive analysis of the differentiability of the trivial SVD. Specifically, we show that the non-differentiability of SVD is essentially due to an underdetermined system of linear equations arising in the derivation process. We utilize the Moore-Penrose pseudoinverse to solve the system, thereby proposing a differentiable SVD. A numerical stability analysis in the context of IIPs is provided. Experimental results in color image compressed sensing and dynamic MRI reconstruction show that our proposed differentiable SVD can effectively address the numerical instability issue while ensuring computational precision. Code is available at https://github.com/yhao-z/SVD-inv.
• Abstract（参考訳）: 低ランク正規化に基づくディープアンローリングネットワークは、様々な逆画像問題(IIP)において顕著な成功を収めている。 しかし、特異値分解(SVD)は重複特異値の発生時に微分不可能であり、訓練中に重大な数値不安定を引き起こす。 本稿では,ムーア-ペンローズ擬似逆数に基づく微分可能SVDを提案する。 我々の知る限りでは、これは自明なSVDの識別可能性に関する包括的分析を提供する最初の試みである。 具体的には, SVDの微分不可能性は, 導出過程における線形方程式の過小決定によるものであることを示す。 ムーア-ペンローズ擬似逆数を用いてシステムを解くことにより、微分可能なSVDを提案する。 IIPの文脈における数値安定性解析を提供する。 カラー画像圧縮センシングと動的MRI再構成の実験結果から,提案した微分可能SVDは,計算精度を確保しつつ,数値不安定性問題に効果的に対処できることが示された。 コードはhttps://github.com/yhao-z/SVD-inv.comで入手できる。

関連論文リスト

• OTLRM: Orthogonal Learning-based Low-Rank Metric for Multi-Dimensional Inverse Problems [14.893020063373022]
  学習可能な直交変換に基づく新しいデータ駆動型低ランクt-SVDモデルを提案する。 また、生成ネットワークの効率的な表現を利用して低ランク構造を得るSVTの一般化として低ランク解法を提案する。
  論文  参考訳（メタデータ） (2024-12-15T12:28:57Z)
• Learning in Feature Spaces via Coupled Covariances: Asymmetric Kernel SVD and Nyström method [21.16129116282759]
  共分散固有確率(CCE)に基づく新しい非対称学習パラダイムを導入する。 有限サンプル近似を用いて非対称Nystr"om法を定式化し,トレーニングを高速化する。
  論文  参考訳（メタデータ） (2024-06-13T02:12:18Z)
• On the Noise Sensitivity of the Randomized SVD [8.98526174345299]
  ランダム化特異値分解(R-SVD)は、大きな行列の部分的なSVDを効率的に計算するためのスケッチベースアルゴリズムである。 我々はR-SVDを低ランク信号と雑音測定モデルで解析する。 R-SVDによって生成される特異値は、BBPのような相転移を示す。
  論文  参考訳（メタデータ） (2023-05-27T10:15:17Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Robust Differentiable SVD [117.35644933471401]
  対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。 不安定性は互いに近い固有値の存在によって生じる。 SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
  論文  参考訳（メタデータ） (2021-04-08T15:04:15Z)
• Neural Decomposition: Functional ANOVA with Variational Autoencoders [9.51828574518325]
  変分オートエンコーダ (VAEs) は次元減少に対する一般的なアプローチとなっている。 VAEのブラックボックスの性質のため、医療やゲノミクスの応用には限界があった。 本研究では,条件付きVAEの変動源の特徴付けに焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-25T10:29:13Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。