論文の概要: SWIFT: Scalable Wasserstein Factorization for Sparse Nonnegative Tensors

• arxiv url: http://arxiv.org/abs/2010.04081v2
• Date: Tue, 15 Dec 2020 10:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 12:44:39.822715
• Title: SWIFT: Scalable Wasserstein Factorization for Sparse Nonnegative Tensors
• Title（参考訳）: SWIFT:スパース非負テンソルに対するスケーラブルなワッサースタイン因子化
• Authors: Ardavan Afshar, Kejing Yin, Sherry Yan, Cheng Qian, Joyce C. Ho, Haesun Park, Jimeng Sun
• Abstract要約: 本稿では、入力テンソルと再構成の距離を測定するワッサーシュタイン距離を最小化するSWIFTを紹介する。 SWIFT は、下流予測タスクのベースラインよりも 9.65% と 11.31% の改善を達成している。
• 参考スコア（独自算出の注目度）: 42.154795547748165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing tensor factorization methods assume that the input tensor follows some specific distribution (i.e. Poisson, Bernoulli, and Gaussian), and solve the factorization by minimizing some empirical loss functions defined based on the corresponding distribution. However, it suffers from several drawbacks: 1) In reality, the underlying distributions are complicated and unknown, making it infeasible to be approximated by a simple distribution. 2) The correlation across dimensions of the input tensor is not well utilized, leading to sub-optimal performance. Although heuristics were proposed to incorporate such correlation as side information under Gaussian distribution, they can not easily be generalized to other distributions. Thus, a more principled way of utilizing the correlation in tensor factorization models is still an open challenge. Without assuming any explicit distribution, we formulate the tensor factorization as an optimal transport problem with Wasserstein distance, which can handle non-negative inputs. We introduce SWIFT, which minimizes the Wasserstein distance that measures the distance between the input tensor and that of the reconstruction. In particular, we define the N-th order tensor Wasserstein loss for the widely used tensor CP factorization and derive the optimization algorithm that minimizes it. By leveraging sparsity structure and different equivalent formulations for optimizing computational efficiency, SWIFT is as scalable as other well-known CP algorithms. Using the factor matrices as features, SWIFT achieves up to 9.65% and 11.31% relative improvement over baselines for downstream prediction tasks. Under the noisy conditions, SWIFT achieves up to 15% and 17% relative improvements over the best competitors for the prediction tasks.
• Abstract（参考訳）: 既存のテンソル分解法は、入力テンソルが特定の分布(ポアソン、ベルヌーイ、ガウス)に従うと仮定し、対応する分布に基づいて定義された経験的損失関数を最小化することで分解を解く。 しかし、いくつかの欠点がある。 1) 実際には, 基礎となる分布は複雑で未知であり, 単純な分布で近似することは不可能である。 2) 入力テンソルの次元間の相関は十分に利用されず, 準最適性能に繋がる。 ヒューリスティックスはガウス分布の側情報のような相関関係を組み込むことが提案されたが、他の分布に容易に一般化することはできない。 したがって、テンソル分解モデルにおける相関を利用するより原理的な方法は、まだ未解決の課題である。 明示的な分布を仮定せずに、テンソル因子分解を、非負入力を扱えるwasserstein距離の最適輸送問題として定式化する。 本稿では、入力テンソルと再構成の距離を測定するワッサーシュタイン距離を最小化するSWIFTを紹介する。 特に、広く使われているテンソルcp因子分解のn次テンソルwasserstein損失を定義し、それを最小化する最適化アルゴリズムを導出する。 SWIFTは、分散構造と異なる等価な定式化を利用して計算効率を最適化することにより、他のよく知られたCPアルゴリズムと同じくらいスケーラブルである。 因子行列を特徴として、SWIFTは、下流予測タスクのベースラインよりも最大9.65%、11.31%改善している。 ノイズの多い条件下では、SWIFTは予測タスクのベストコンペティターよりも15%と17%の相対的な改善を達成している。

関連論文リスト

• Training normalizing flows with computationally intensive target probability distributions [0.018416014644193065]
  本稿では,REINFORCEアルゴリズムに基づく流れの正規化のための推定器を提案する。 ウォールタイムでは最大10倍高速で、最大30%のメモリを必要とする。
  論文  参考訳（メタデータ） (2023-08-25T10:40:46Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Error Analysis of Tensor-Train Cross Approximation [88.83467216606778]
  我々は, テンソル全体の精度保証を行う。 結果は数値実験により検証され、高次テンソルに対するクロス近似の有用性に重要な意味を持つ可能性がある。
  論文  参考訳（メタデータ） (2022-07-09T19:33:59Z)
• Nonparametric Sparse Tensor Factorization with Hierarchical Gamma Processes [16.79618682556073]
  疎観測テンソルに対する非パラメトリック分解法を提案する。 階層的ガンマ過程とポアソンランダム測度を用いてテンソル値のプロセスを構築する。 効率的な推論のために、有限標本分割、密度変換、ランダム特徴量に対するディリクレ過程特性を用いる。
  論文  参考訳（メタデータ） (2021-10-19T16:17:26Z)
• Augmented Tensor Decomposition with Stochastic Optimization [46.16865811396394]
  実世界のテンソルデータは、通常高次で、数百万から数十億のエントリを持つ大きな次元を持つ。 テンソル全体を従来のアルゴリズムで分解するのは高価である。 本稿では、データ拡張を効果的に取り入れて下流の分類を向上する拡張テンソル分解を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:29:05Z)
• MTC: Multiresolution Tensor Completion from Partial and Coarse Observations [49.931849672492305]
  既存の完備化の定式化は、主に1つのテンソルからの部分的な観測に依存する。 この問題を解決するために,効率的なマルチレゾリューション・コンプリート・モデル(MTC)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T02:20:03Z)
• Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements [30.395874385570007]
  基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。 タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。 2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:44:49Z)
• Alternating linear scheme in a Bayesian framework for low-rank tensor approximation [5.833272638548154]
  ベイズ推論問題を解くことにより、与えられたテンソルの低ランク表現を見つける。 本稿では,テンソルトレイン方式で無音変換を行うアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:15:30Z)
• Linear Optimal Transport Embedding: Provable Wasserstein classification for certain rigid transformations and perturbations [79.23797234241471]
  分布の区別は多くの科学分野において重要な問題である。 線形最適輸送(LOT)は分布の空間を$L2$-スペースに埋め込む。 複数の分布分類問題に対するLOTの利点を実証する。
  論文  参考訳（メタデータ） (2020-08-20T19:09:33Z)
• Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality [92.35257908210316]
  本研究では,不完全かつ破損した観測によって与えられる低ランクテンソルを推定する問題について検討する。 改善不可能なレートをell-2$の精度で達成できることが分かりました。
  論文  参考訳（メタデータ） (2020-06-15T17:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。