論文の概要: Augmented Tensor Decomposition with Stochastic Optimization

• arxiv url: http://arxiv.org/abs/2106.07900v1
• Date: Tue, 15 Jun 2021 06:29:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 03:10:06.681051
• Title: Augmented Tensor Decomposition with Stochastic Optimization
• Title（参考訳）: 確率最適化による拡張テンソル分解
• Authors: Chaoqi Yang, Cheng Qian, Navjot Singh, Cao Xiao, M Brandon Westover, Edgar Solomonik, Jimeng Sun
• Abstract要約: 実世界のテンソルデータは、通常高次で、数百万から数十億のエントリを持つ大きな次元を持つ。 テンソル全体を従来のアルゴリズムで分解するのは高価である。 本稿では、データ拡張を効果的に取り入れて下流の分類を向上する拡張テンソル分解を提案する。
• 参考スコア（独自算出の注目度）: 46.16865811396394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor decompositions are powerful tools for dimensionality reduction and feature interpretation of multidimensional data such as signals. Existing tensor decomposition objectives (e.g., Frobenius norm) are designed for fitting raw data under statistical assumptions, which may not align with downstream classification tasks. Also, real-world tensor data are usually high-ordered and have large dimensions with millions or billions of entries. Thus, it is expensive to decompose the whole tensor with traditional algorithms. In practice, raw tensor data also contains redundant information while data augmentation techniques may be used to smooth out noise in samples. This paper addresses the above challenges by proposing augmented tensor decomposition (ATD), which effectively incorporates data augmentations to boost downstream classification. To reduce the memory footprint of the decomposition, we propose a stochastic algorithm that updates the factor matrices in a batch fashion. We evaluate ATD on multiple signal datasets. It shows comparable or better performance (e.g., up to 15% in accuracy) over self-supervised and autoencoder baselines with less than 5% of model parameters, achieves 0.6% ~ 1.3% accuracy gain over other tensor-based baselines, and reduces the memory footprint by 9X when compared to standard tensor decomposition algorithms.
• Abstract（参考訳）: テンソル分解は、信号などの多次元データの次元減少と特徴解釈のための強力なツールである。 既存のテンソル分解目標(例えばフロベニウスノルム)は、下流の分類タスクと一致しないような統計的仮定の下で生データを適合させるように設計されている。 また、現実世界のテンソルデータは、通常高次で、数百万から数十億のエントリを持つ大きな次元を持つ。 したがって、従来のアルゴリズムでテンソル全体を分解するのは費用がかかる。 実際には、生のテンソルデータは冗長な情報も含んでいるが、データ拡張技術はサンプルのノイズを平滑化するために使うことができる。 本稿では,データ拡張を効果的に組み込んで下流分類を促進する拡張テンソル分解(augmented tensor decomposition, atd)を提案する。 本稿では,分解のメモリフットプリントを削減するために,行列をバッチ形式で更新する確率的アルゴリズムを提案する。 複数の信号データセット上でATDを評価する。 モデルパラメータの5%未満で、自己教師付きおよびオートエンコーダベースラインよりも同等または優れたパフォーマンス(例えば、15%の精度)を示し、他のテンソルベースラインよりも0.6%以上精度が向上し、標準テンソル分解アルゴリズムと比較してメモリフットプリントを9倍削減する。

関連論文リスト

• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores [47.87810316745786]
  本研究では,エクサスケールテンソル分解を支援する圧縮型テンソル分解フレームワークを提案する。 ベースラインと比較すると、エクスカスケール・テンソルは8000倍のテンソルをサポートし、スピードアップは6.95倍である。 また,本手法を遺伝子解析とテンソル層ニューラルネットワークを含む実世界の2つの応用に適用する。
  論文  参考訳（メタデータ） (2023-11-22T21:04:59Z)
• Scalable and Robust Tensor Ring Decomposition for Large-scale Data [12.02023514105999]
  本稿では,大規模テンソルデータに欠落したエントリと粗悪な破損を扱えるスケーラブルで堅牢なTR分解アルゴリズムを提案する。 まず, 欠落したエントリを適応的に満たし, 分解過程における外れ値の同定が可能な, 自己重み付き急勾配降下法を開発した。
  論文  参考訳（メタデータ） (2023-05-15T22:08:47Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Latent Matrices for Tensor Network Decomposition and to Tensor Completion [8.301418317685906]
  テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。 実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
  論文  参考訳（メタデータ） (2022-10-07T08:19:50Z)
• Fast and Provable Tensor Robust Principal Component Analysis via Scaled Gradient Descent [30.299284742925852]
  本稿では、テンソルロバスト主成分分析(RPCA)に取り組む。 希少な腐敗によって汚染された観測から低ランクのテンソルを回収することを目的としている。 提案アルゴリズムは, 最先端行列やテンソルRPCAアルゴリズムよりも, より優れた, よりスケーラブルな性能を実現する。
  論文  参考訳（メタデータ） (2022-06-18T04:01:32Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements [30.395874385570007]
  基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。 タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。 2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:44:49Z)
• Kronecker Attention Networks [69.22257624495899]
  我々は,高次テンソルデータを直接操作するKronecker attention operator (KAOs) を開発した。 その結果,本手法は必要な計算資源の量を数百倍に削減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-16T16:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。