論文の概要: Noise-Augmented $\ell_0$ Regularization of Tensor Regression with Tucker
Decomposition
- arxiv url: http://arxiv.org/abs/2302.10775v1
- Date: Sun, 19 Feb 2023 02:40:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 14:37:05.464433
- Title: Noise-Augmented $\ell_0$ Regularization of Tensor Regression with Tucker
Decomposition
- Title（参考訳）: タッカー分解を伴うテンソル回帰のノイズ推定 $\ell_0$ 正則化
- Authors: Tian Yan, Yinan Li, Fang Liu
- Abstract要約: テンソル予測器を用いた低ランク分解に基づく回帰法はテンソル予測器の構造情報を利用する。
テンソル回帰のパラメータを正規化するNA$$CT$2$という手法を提案する。
- 参考スコア（独自算出の注目度）: 13.38920246791158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor data are multi-dimension arrays. Low-rank decomposition-based
regression methods with tensor predictors exploit the structural information in
tensor predictors while significantly reducing the number of parameters in
tensor regression. We propose a method named NA$_0$CT$^2$ (Noise Augmentation
for $\ell_0$ regularization on Core Tensor in Tucker decomposition) to
regularize the parameters in tensor regression (TR), coupled with Tucker
decomposition. We establish theoretically that NA$_0$CT$^2$ achieves exact
$\ell_0$ regularization in linear TR and generalized linear TR on the core
tensor from the Tucker decomposition. To our knowledge, NA$_0$CT$^2$ is the
first Tucker decomposition-based regularization method in TR to achieve
$\ell_0$ in core tensor. NA$_0$CT$^2$ is implemented through an iterative
procedure and involves two simple steps in each iteration -- generating noisy
data based on the core tensor from the Tucker decomposition of the updated
parameter estimate and running a regular GLM on noise-augmented data on
vectorized predictors. We demonstrate the implementation of NA$_0$CT$^2$ and
its $\ell_0$ regularization effect in both simulation studies and real data
applications. The results suggest that NA$_0$CT$^2$ improves predictions
compared to other decomposition-based TR approaches, with or without
regularization and it also helps to identify important predictors though not
designed for that purpose.
- Abstract（参考訳）: テンソルデータは多次元配列である。
テンソル予測器を用いた低ランク分解に基づく回帰法はテンソル予測器の構造情報を利用するが、テンソル回帰器のパラメータ数は著しく減少する。
本研究では,タッカー分解に伴うテンソル回帰(TR)のパラメータを正規化するために,NA$_0$CT$^2$(タッカー分解におけるコアテンソルの正規化に対するノイズ拡張)という手法を提案する。
理論上、NA$_0$CT$^2$は、線形TRの正確な$\ell_0$正規化と、タッカー分解から核テンソル上の一般化線型TRを実現する。
我々の知る限り、NA$_0$CT$^2$は核テンソルで$\ell_0$を達成するためのTRにおける最初のタッカー分解に基づく正規化法である。
na$_0$ct$^2$ は反復的な手順で実装され、各反復において2つの単純なステップを含む -- 更新されたパラメータ推定のタッカー分解からコアテンソルに基づくノイズデータを生成し、ベクタライズされた予測器上のノイズ提示データに対して正規glmを実行する。
我々は,NA$_0$CT$^2$の実装と,その$\ell_0$正規化効果をシミュレーション研究と実データアプリケーションの両方で示す。
その結果,na$_0$ct$^2$は,他の分解型tr法と比較して,正規化の有無にかかわらず予測精度が向上することが示唆された。
関連論文リスト
- Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳（メタデータ） (2024-10-03T17:06:06Z) - A Novel Tensor Factorization-Based Method with Robustness to Inaccurate
Rank Estimation [9.058215418134209]
本稿では,2つの低ランク制約を持つテンソルノルムを提案する。
結果のテンソル完成モデルが不正確なランク推定による性能劣化を効果的に回避できることが理論的に証明されている。
これに基づいて、最適化アルゴリズムの各イテレーションの総コストは$mathcalO(n3log n + kn3)$から$mathcalO(n4)$に削減される。
論文 参考訳（メタデータ） (2023-05-19T06:26:18Z) - Decomposable Sparse Tensor on Tensor Regression [1.370633147306388]
テンソル回帰のスパースローランクテンソルを考えると、予測子 $mathcalX$ とレスポンス $mathcalY$ はどちらも高次元テンソルである。
本稿では,契約部と生成部から構成されるステージワイド探索に基づく高速解を提案する。
論文 参考訳（メタデータ） (2022-12-09T18:16:41Z) - Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor
Decompositions [51.19236668224547]
テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。
テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。
さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
論文 参考訳（メタデータ） (2022-07-15T11:55:09Z) - 2D+3D facial expression recognition via embedded tensor manifold
regularization [16.98176664818354]
2D+3次元表情認識(FERETMR)のための埋め込みテンソル多様体正規化による新しい手法を提案する。
定常点の観点から一階最適条件を確立し、収束解析によるブロック座標降下(BCD)アルゴリズムを設計する。
BU-3DFEデータベースとBosphorusデータベースの数値計算結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-01-29T06:11:00Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳（メタデータ） (2021-12-23T04:05:01Z) - Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling [5.740578698172382]
リッジレバレッジスコア (ridge leverage scores) と呼ばれるランダム化数値線形代数のタッカー分解とツールの利用について検討する。
近似リッジレバレッジスコアを用いて、任意のリッジ回帰問題に対してスケッチされたインスタンスを構築する方法を示す。
本研究では, 合成データと実世界のデータの両方に対して, 大規模かつ低ランクのタッカー分解に対する近似リッジ回帰アルゴリズムの有効性を示す。
論文 参考訳（メタデータ） (2021-07-22T13:32:47Z) - MTC: Multiresolution Tensor Completion from Partial and Coarse
Observations [49.931849672492305]
既存の完備化の定式化は、主に1つのテンソルからの部分的な観測に依存する。
この問題を解決するために,効率的なマルチレゾリューション・コンプリート・モデル(MTC)を提案する。
論文 参考訳（メタデータ） (2021-06-14T02:20:03Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳（メタデータ） (2020-10-22T00:32:12Z) - Sparse and Low-Rank High-Order Tensor Regression via Parallel Proximal
Method [6.381138694845438]
高次構造を持つ大規模データに対するスパース・ローランク回帰モデルを提案する。
我々のモデルはテンソル係数の空間性と低ランク性を強制する。
我々のモデルの予測は、ビデオデータセットに意味のある解釈を示す。
論文 参考訳（メタデータ） (2019-11-29T06:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。