論文の概要: Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization
- arxiv url: http://arxiv.org/abs/2506.22134v2
- Date: Tue, 07 Oct 2025 14:29:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 15:38:20.876558
- Title: Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization
- Title(参考訳): 変分シャッテン-p準ノルムとヤコビ正規化による低ランクテンソル回復
- Authors: Zhengyun Cheng, Ruizhe Zhang, Guanwen Zhang, Yi Xu, Xiangyang Ji, Wei Zhou,
- Abstract要約: 暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。
本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。
滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
- 参考スコア(独自算出の注目度): 49.85875869048434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Higher-order tensors are well-suited for representing multi-dimensional data, such as images and videos, which typically characterize low-rank structures. Low-rank tensor decomposition has become essential in machine learning and computer vision, but existing methods like Tucker decomposition offer flexibility at the expense of interpretability. The CANDECOMP/PARAFAC (CP) decomposition provides a natural and interpretable structure, while obtaining a sparse solutions remains challenging. Leveraging the rich properties of CP decomposition, we propose a CP-based low-rank tensor function parameterized by neural networks (NN) for implicit neural representation. This approach can model the tensor both on-grid and beyond grid, fully utilizing the non-linearity of NN with theoretical guarantees on excess risk bounds. To achieve sparser CP decomposition, we introduce a variational Schatten-p quasi-norm to prune redundant rank-1 components and prove that it serves as a common upper bound for the Schatten-p quasi-norms of arbitrary unfolding matrices. For smoothness, we propose a regularization term based on the spectral norm of the Jacobian and Hutchinson's trace estimator. The proposed smoothness regularization is SVD-free and avoids explicit chain rule derivations. It can serve as an alternative to Total Variation (TV) regularization in image denoising tasks and is naturally applicable to implicit neural representation. Extensive experiments on multi-dimensional data recovery tasks, including image inpainting, denoising, and point cloud upsampling, demonstrate the superiority and versatility of our method compared to state-of-the-art approaches. The code is available at https://github.com/CZY-Code/CP-Pruner.
- Abstract(参考訳): 高階テンソルは画像やビデオなどの多次元データを表現するのに適しており、低ランク構造を特徴付けるのが一般的である。
低ランクテンソル分解は機械学習やコンピュータビジョンにおいて欠かせないものとなっているが、タッカー分解のような既存の方法は解釈容易性を犠牲にして柔軟性を提供する。
CANDECOMP/PARAFAC(CP)分解は自然かつ解釈可能な構造を提供するが、スパース解を得るのは難しい。
CP分解のリッチな特性を活用し、暗黙の神経表現のためにニューラルネットワーク(NN)でパラメータ化されたCPベースの低ランクテンソル関数を提案する。
このアプローチはグリッド上のテンソルとグリッド外のテンソルをモデル化することができ、NNの非線形性を完全に活用し、過剰なリスク境界に関する理論的保証を与える。
スペーサーCP分解を実現するために、冗長なランク1成分にシュッテン-p準ノルムの変分を導入し、任意の展開行列のシュッテン-p準ノルムの共通上界として機能することを証明した。
滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
提案された滑らか性正規化はSVDフリーであり、明示的な連鎖規則の導出を避ける。
画像認識タスクにおけるトータル変分(TV)正規化の代替として機能し、暗黙のニューラル表現に自然に適用できる。
画像の塗り絵やデノイング,点雲のアップサンプリングなど多次元データ復元タスクに関する大規模な実験は,最先端の手法と比較して,本手法の優位性と汎用性を実証している。
コードはhttps://github.com/CZY-Code/CP-Pruner.comで入手できる。
関連論文リスト
- SDTN and TRN: Adaptive Spectral-Spatial Feature Extraction for Hyperspectral Image Classification [1.2871580250533408]
ハイパースペクトル画像分類は、精密農業において重要な役割を担い、作物の健康モニタリング、病気の検出、土壌分析に関する正確な洞察を提供する。
従来の手法は高次元データ、スペクトル空間の冗長性、ラベル付きサンプルの不足に悩まされ、しばしば準最適性能に繋がる。
これらの課題に対処するために,テンソル分解と正規化機構を組み合わせた自己適応正規化ネットワーク(SDTN)を提案し,テンソルランクを動的に調整する。
このアプローチは、高い分類精度を維持するだけでなく、計算の複雑さを大幅に減らし、リソース制約のある環境でのリアルタイムデプロイメントに非常に適している。
論文 参考訳(メタデータ) (2025-07-13T04:53:33Z) - Score-Based Model for Low-Rank Tensor Recovery [49.158601255093416]
低ランクテンソル分解(TD)は、マルチウェイデータ解析に有効なフレームワークを提供する。
従来のTD法は、CPやタッカー分解のような事前定義された構造的仮定に依存している。
本稿では,事前定義された構造的仮定や分布的仮定の必要性を排除したスコアベースモデルを提案する。
論文 参考訳(メタデータ) (2025-06-27T15:05:37Z) - sparseGeoHOPCA: A Geometric Solution to Sparse Higher-Order PCA Without Covariance Estimation [8.802387139798808]
本稿では,高次主成分分析(SHOPCA)のための新しいフレームワークを提案する。
本稿では,SparseGeoHOPが高次元画像設定とImageNet上でサポートされていることを示す。
論文 参考訳(メタデータ) (2025-06-10T10:30:48Z) - TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。
SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
論文 参考訳(メタデータ) (2025-01-04T20:51:51Z) - tCURLoRA: Tensor CUR Decomposition Based Low-Rank Parameter Adaptation and Its Application in Medical Image Segmentation [1.3281936946796913]
伝達学習は、事前訓練されたモデルからの知識を活用することで、目標タスクの性能を大幅に向上させた。
ディープニューラルネットワークのスケールアップに伴って、フル微調整によって、計算とストレージの大幅な課題がもたらされる。
テンソルCUR分解に基づく新しい微調整法であるtCURLoRAを提案する。
論文 参考訳(メタデータ) (2025-01-04T08:25:32Z) - OTLRM: Orthogonal Learning-based Low-Rank Metric for Multi-Dimensional Inverse Problems [14.893020063373022]
学習可能な直交変換に基づく新しいデータ駆動型低ランクt-SVDモデルを提案する。
また、生成ネットワークの効率的な表現を利用して低ランク構造を得るSVTの一般化として低ランク解法を提案する。
論文 参考訳(メタデータ) (2024-12-15T12:28:57Z) - Irregular Tensor Low-Rank Representation for Hyperspectral Image Representation [71.69331824668954]
スペクトル変動は、ハイパースペクトル画像(HSI)解析において共通の課題となる
低ランクテンソル表現は、HSIデータに固有の相関を利用して、堅牢な戦略として登場した。
本研究では,不規則な3次元立方体を効率的にモデル化するために,不規則なテンソルローランク表現のための新しいモデルを提案する。
論文 参考訳(メタデータ) (2024-10-24T02:56:22Z) - Enabling Tensor Decomposition for Time-Series Classification via A Simple Pseudo-Laplacian Contrast [26.28414569796961]
本稿では, Pseudo Laplacian Contrast (PLC) テンソル分解フレームワークを提案する。
データ拡張とラプラシアンのクロスビューを統合し、クラス認識表現の抽出を可能にする。
様々なデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2024-09-23T16:48:13Z) - Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。
VBMFは各層における重みテンソルのランクを推定するために用いられる。
その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
論文 参考訳(メタデータ) (2024-08-29T06:40:34Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Low-Rank Tensor Function Representation for Multi-Dimensional Data
Recovery [52.21846313876592]
低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。
テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。
提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
論文 参考訳(メタデータ) (2022-12-01T04:00:38Z) - Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion [3.498620439731324]
テンソル完備化のために,低ランクかつスパースに拡張されたタッカー分解モデルを導入する。
我々のモデルはスパースコアテンソルを促進するためにスパース正規化項を持ち、テンソルデータ圧縮に有用である。
テンソルに出現する潜在的な周期性と固有相関特性を利用するので,本モデルでは様々な種類の実世界のデータセットを扱うことが可能である。
論文 参考訳(メタデータ) (2020-10-01T12:45:39Z) - Stable Low-rank Tensor Decomposition for Compression of Convolutional
Neural Network [19.717842489217684]
本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。
本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。
画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
論文 参考訳(メタデータ) (2020-08-12T17:10:12Z) - Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。
MVSCに適合する新しい構造テンソル低ランクノルムを設計する。
提案手法は最先端の手法よりもかなり優れていることを示す。
論文 参考訳(メタデータ) (2020-04-30T11:52:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。