論文の概要: Pre-Trained Low-Rank Tensor Decomposition for Multi-Dimensional Image Recovery
- arxiv url: http://arxiv.org/abs/2609.12843v1
- Date: Fri, 11 Sep 2026 13:36:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.763153
- Title: Pre-Trained Low-Rank Tensor Decomposition for Multi-Dimensional Image Recovery
- Title(参考訳): 多次元画像復元のための事前学習低ランクテンソル分解法
- Abstract要約: そこで本研究では,事前学習型低ランクテンソル分解フレームワークを提案する。
これは、事前訓練された大きな視覚モデルを古典的なテンソル分解フレームワークに有機的に統合する。
回復率が高く、学習可能なパラメータも少なく、炭素フットプリントも小さい。
- 参考スコア(独自算出の注目度): 66.1915813483319
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, tensor decompositions are prevalent for multi-dimensional image representation, which learn the instance-specific structure of each image from scratch. However, tensor decompositions neglect the common structure across different images, leading to limited semantic modeling capability, high computational cost, and a large number of learnable parameters. To address this challenge, we suggest the first pre-trained low-rank tensor decomposition (PLTD) framework, which organically integrates the pre-trained large vision model into the classical tensor decomposition framework. Beyond the shallow and untrained deep tensor decomposition, the suggested PLTD achieves an unprecedented balance among higher recovery fidelity, fewer learnable parameters, and smaller carbon footprint. Specifically, PLTD factorizes the target tensor into a latent tensor and a learnable transform that maps the latent tensor back to the original data domain. The latent tensor consists of two indispensable and complementary terms, i.e., a fixed pre-trained latent tensor and a learnable low-rank latent tensor. The fixed pre-trained latent tensor is distilled from a pre-trained large vision model (i.e., DINOv3) to capture the common structure of the target tensor, while the learnable low-rank latent tensor characterizes the instance-specific structure of the target tensor. To examine the potential of PLTD, we develop the corresponding multi-dimensional image recovery model and theoretically justify the advantages of this framework. Additionally, we discuss the connections between PLTD and classical tensor decomposition frameworks. Extensive experiments on multi-dimensional image recovery demonstrate that PLTD consistently achieves superior performance compared with state-of-the-art methods.
- Abstract(参考訳): 近年,各画像のインスタンス固有構造をスクラッチから学習する多次元画像表現において,テンソル分解が普及している。
しかし、テンソル分解は、異なる画像間の共通構造を無視し、限られた意味モデリング能力、高い計算コスト、多くの学習可能なパラメータをもたらす。
この課題に対処するために、事前学習された大きな視覚モデルを古典的なテンソル分解フレームワークに有機的に統合する最初の低ランクテンソル分解(PLTD)フレームワークを提案する。
浅部および未訓練の深部テンソル分解の他に、提案されたPLTDは、高い回復率、学習可能なパラメータの少ない、より小さい炭素フットプリントの間で前例のないバランスを達成している。
具体的には、PLTDはターゲットテンソルを潜在テンソルと学習可能な変換に分解し、潜在テンソルを元のデータ領域にマッピングする。
潜在テンソルは2つの必須かつ相補的な用語、すなわち、固定された事前学習された潜在テンソルと学習可能な低ランク潜在テンソルから構成される。
固定された事前学習された潜伏テンソルは、予め訓練された大視モデル(例えばDINOv3)から蒸留され、目標テンソルの共通構造を捉え、学習可能な低ランク潜伏テンソルは目標テンソルのインスタンス固有構造を特徴付ける。
PLTDの可能性を検討するため、我々は対応する多次元画像復元モデルを開発し、理論的にこのフレームワークの利点を正当化する。
さらに、PLTDと古典的テンソル分解フレームワークの関連についても論じる。
多次元画像復元実験により, PLTD は最先端の手法と比較して常に優れた性能を発揮することが示された。
関連論文リスト
- Compressive Imaging Reconstruction via Tensor Decomposed Multi-Resolution Grid Encoding [50.54887630778593]
圧縮画像再構成(CI)は, 圧縮された低次元画像から高次元画像を復元することを目的としている。
既存の教師なし表現は、表現能力と効率の間の望ましいバランスを達成するのに苦労する。
本稿では,CI再構成のための非教師なし連続表現フレームワークである分割多重解像度グリッド符号化(GridTD)を提案する。
論文 参考訳(メタデータ) (2025-07-10T12:36:20Z) - Score-Based Model for Low-Rank Tensor Recovery [49.158601255093416]
低ランクテンソル分解(TD)は、マルチウェイデータ解析に有効なフレームワークを提供する。
従来のTD法は、CPやタッカー分解のような事前定義された構造的仮定に依存している。
本稿では,事前定義された構造的仮定や分布的仮定の必要性を排除したスコアベースモデルを提案する。
論文 参考訳(メタデータ) (2025-06-27T15:05:37Z) - Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。
本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。
滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
論文 参考訳(メタデータ) (2025-06-27T11:23:10Z) - TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。
SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
論文 参考訳(メタデータ) (2025-01-04T20:51:51Z) - tCURLoRA: Tensor CUR Decomposition Based Low-Rank Parameter Adaptation and Its Application in Medical Image Segmentation [1.3037269687250654]
伝達学習は、事前訓練されたモデルからの知識を活用することで、目標タスクの性能を大幅に向上させた。
ディープニューラルネットワークのスケールアップに伴って、フル微調整によって、計算とストレージの大幅な課題がもたらされる。
テンソルCUR分解に基づく新しい微調整法であるtCURLoRAを提案する。
論文 参考訳(メタデータ) (2025-01-04T08:25:32Z) - Handling The Non-Smooth Challenge in Tensor SVD: A Multi-Objective Tensor Recovery Framework [15.16222081389267]
テンソルデータの非滑らかな変化に対処するために,学習可能なテンソル核ノルムを持つ新しいテンソル復元モデルを導入する。
我々は,提案するテンソル完備化モデルを反復的に解くために,交代近似乗算法 (APMM) という新しい最適化アルゴリズムを開発した。
さらに,APMMに基づく多目的テンソル復元フレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-23T12:16:33Z) - Self-Supervised Nonlinear Transform-Based Tensor Nuclear Norm for
Multi-Dimensional Image Recovery [27.34643415429293]
自己超越下で観測されたテンソルデータを用いて非線形変換を学習する多層ニューラルネットワークを提案する。
提案するネットワークは、変換テンソルの低ランク表現と、観測されたテンソルと再構成テンソルとの間のデータ適合を利用して非線形変換を構築する。
論文 参考訳(メタデータ) (2021-05-29T14:56:51Z) - Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion [3.498620439731324]
テンソル完備化のために,低ランクかつスパースに拡張されたタッカー分解モデルを導入する。
我々のモデルはスパースコアテンソルを促進するためにスパース正規化項を持ち、テンソルデータ圧縮に有用である。
テンソルに出現する潜在的な周期性と固有相関特性を利用するので,本モデルでは様々な種類の実世界のデータセットを扱うことが可能である。
論文 参考訳(メタデータ) (2020-10-01T12:45:39Z) - Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。
MVSCに適合する新しい構造テンソル低ランクノルムを設計する。
提案手法は最先端の手法よりもかなり優れていることを示す。
論文 参考訳(メタデータ) (2020-04-30T11:52:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。