論文の概要: Fast and Accurate Dual-Way Streaming PARAFAC2 for Irregular Tensors --
Algorithm and Application
- arxiv url: http://arxiv.org/abs/2305.18376v1
- Date: Sun, 28 May 2023 05:56:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 22:03:41.571044
- Title: Fast and Accurate Dual-Way Streaming PARAFAC2 for Irregular Tensors --
Algorithm and Application
- Title（参考訳）: 不規則なテンソルのための高速かつ正確なデュアルウェイストリーミングPARAFAC2 -アルゴリズムとその応用-
- Authors: Jun-Gi Jang, Jeongyoung Lee, Yong-chan Park, U Kang
- Abstract要約: そこで我々はDashを提案する。Dashは、双方向ストリーミング環境で動作する、効率的かつ正確なPARAFAC2分解法である。
Dashは、新たに到着したデータに対する既存のPARAFAC2分解手法よりも14.0倍高速である。
また、サブプライム・モルトゲージ危機やCOVID-19など、現実世界のデータセットの異常を検出するための発見も提供します。
- 参考スコア（独自算出の注目度）: 25.241802754640958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How can we efficiently and accurately analyze an irregular tensor in a
dual-way streaming setting where the sizes of two dimensions of the tensor
increase over time? What types of anomalies are there in the dual-way streaming
setting? An irregular tensor is a collection of matrices whose column lengths
are the same while their row lengths are different. In a dual-way streaming
setting, both new rows of existing matrices and new matrices arrive over time.
PARAFAC2 decomposition is a crucial tool for analyzing irregular tensors.
Although real-time analysis is necessary in the dual-way streaming, static
PARAFAC2 decomposition methods fail to efficiently work in this setting since
they perform PARAFAC2 decomposition for accumulated tensors whenever new data
arrive. Existing streaming PARAFAC2 decomposition methods work in a limited
setting and fail to handle new rows of matrices efficiently. In this paper, we
propose Dash, an efficient and accurate PARAFAC2 decomposition method working
in the dual-way streaming setting. When new data are given, Dash efficiently
performs PARAFAC2 decomposition by carefully dividing the terms related to old
and new data and avoiding naive computations involved with old data.
Furthermore, applying a forgetting factor makes Dash follow recent movements.
Extensive experiments show that Dash achieves up to 14.0x faster speed than
existing PARAFAC2 decomposition methods for newly arrived data. We also provide
discoveries for detecting anomalies in real-world datasets, including Subprime
Mortgage Crisis and COVID-19.
- Abstract（参考訳）: 2次元のテンソルのサイズが時間とともに増加する2方向ストリーミング設定における不規則テンソルの効率的かつ正確に解析するにはどうすればよいか?
双方向ストリーミング設定には、どのような異常がありますか?
不規則なテンソルは列の長さが同じで行の長さが異なる行列の集合である。
デュアルウェイストリーミングでは、既存の行列の新しい行と新しい行列の両方が時間とともに現れる。
PARAFAC2分解は不規則なテンソルを解析するための重要なツールである。
双方向ストリーミングにはリアルタイム解析が必要であるが、静的PARAFAC2分解法は、新しいデータが到着するたびに蓄積テンソルに対してPARAFAC2分解を実行するため、この設定では効率的に動作しない。
既存のストリーミング PARAFAC2 分解法は限られた設定で動作し、新しい行列列を効率的に処理できない。
本稿では,双方向ストリーミング環境で動作する効率的かつ高精度なparafac2分解手法であるdashを提案する。
新しいデータが与えられると、Dashは、古いデータと新しいデータに関する用語を慎重に分割し、古いデータに関連する単純な計算を避けることで、PARAFAC2分解を効率的に行う。
さらに、忘れる要因を適用することで、Dashは最近の動きに従うことができる。
広範な実験により、dashは新しく到着したデータに対する既存のparafac2分解法よりも最大14.0倍高速になった。
また、サブプライム・モルトゲージ危機やCOVID-19など、現実世界のデータセットの異常を検出するための発見も提供する。
関連論文リスト
- Sparse Tensor PCA via Tensor Decomposition for Unsupervised Feature Selection [8.391109286933856]
パラメータ行列の投影方向を利用して教師なし特徴選択を行う2つのスパース主成分分析(STPCA)モデルを開発した。
両方のモデルに対して、各サブプロブレムの最適解がエルミート正正半定円錐(HPSD)に落ちることを証明する。
実験結果によると,提案手法は異なるデータテンソルシナリオの処理に適しており,最先端のUFS手法よりも優れていた。
論文 参考訳（メタデータ） (2024-07-24T04:04:56Z) - Does Long-Term Series Forecasting Need Complex Attention and Extra Long
Inputs? [21.15722677855935]
トランスフォーマーベースのモデルは、様々な時系列タスクにおいて印象的なパフォーマンスを達成した。
近年、LTSF(Long-Term Series Forecasting)タスクも注目されている。
トランスフォーマーベースの手法を要求される計算複雑性と長いシーケンスのため、LTSFタスクへの適用には2つの大きな問題がある。
論文 参考訳（メタデータ） (2023-06-08T08:37:49Z) - RSC: Accelerating Graph Neural Networks Training via Randomized Sparse
Computations [56.59168541623729]
トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。
我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。
本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
論文 参考訳（メタデータ） (2022-10-19T17:25:33Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - Monarch: Expressive Structured Matrices for Efficient and Accurate
Training [64.6871423399431]
大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。
計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。
ハードウェア効率のよい行列(Monarch)のクラスを提案する。
論文 参考訳（メタデータ） (2022-04-01T17:37:29Z) - DPar2: Fast and Scalable PARAFAC2 Decomposition for Irregular Dense
Tensors [29.072651980087713]
本研究では不規則な高密度テンソルに対する高速かつスケーラブルなPARAFAC2分解法DPar2を提案する。
大規模な実験により、DPar2は実世界の不規則なテンソルの競合よりも最大6.0倍速いことが示されている。
論文 参考訳（メタデータ） (2022-03-24T01:43:13Z) - Sketching as a Tool for Understanding and Accelerating Self-attention
for Long Sequences [52.6022911513076]
トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。
我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。
理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
論文 参考訳（メタデータ） (2021-12-10T06:58:05Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Random Feature Attention [69.4671822971207]
ソフトマックス関数を近似するためにランダム特徴法を用いる線形時間空間アテンション RFA を提案する。
RFAは、従来のソフトマックスアテンションのドロップイン代替として使用することができ、オプションのゲーティング機構を通じて、遅延バイアスで直接学習する方法を提供する。
言語モデリングと機械翻訳の実験は、RFAが強力なトランスのベースラインと類似またはより良いパフォーマンスを達成することを実証します。
論文 参考訳（メタデータ） (2021-03-03T02:48:56Z) - SliceNStitch: Continuous CP Decomposition of Sparse Tensor Streams [22.348422397331984]
連続CANDECOMP/PARAFAC分解用SLICENSTITCHを提案します。
異常検知、レコメンダーシステム、株式市場予測など、多くの時間クリティカルなアプリケーションがあります。
理論的および実験的に、SLICENSTITCHは(1)「任意の時間」:現在の時間期間が終了するまで待つことなく、すぐに因子を更新すること、(2)高速:オンラインメソッドよりも759倍速く、(3)正確:オフラインメソッドに匹敵する適合性(特に721%)。
論文 参考訳（メタデータ） (2021-02-23T06:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。