論文の概要: Scalable Bayesian Tensor Ring Factorization for Multiway Data Analysis
- arxiv url: http://arxiv.org/abs/2412.03321v1
- Date: Wed, 04 Dec 2024 13:55:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-05 15:09:50.344803
- Title: Scalable Bayesian Tensor Ring Factorization for Multiway Data Analysis
- Title（参考訳）: マルチウェイデータ解析のためのスケーラブルベイズテンソルリング因子化
- Authors: Zerui Tao, Toshihisa Tanaka, Qibin Zhao,
- Abstract要約: 非パラメトリック乗算ガンマプロセス(MGP)を前もって組み込んだ新しいBTRモデルを提案する。
離散データを扱うために、クローズドフォーム更新のためのP'olya-Gamma拡張を導入する。
そこで我々は,従来のVIアルゴリズムの計算複雑性を2桁に減らした,一貫した後続シミュレーションのための効率的なギブスサンプリング器を開発した。
- 参考スコア（独自算出の注目度）: 24.04852523970509
- License:
- Abstract: Tensor decompositions play a crucial role in numerous applications related to multi-way data analysis. By employing a Bayesian framework with sparsity-inducing priors, Bayesian Tensor Ring (BTR) factorization offers probabilistic estimates and an effective approach for automatically adapting the tensor ring rank during the learning process. However, previous BTR method employs an Automatic Relevance Determination (ARD) prior, which can lead to sub-optimal solutions. Besides, it solely focuses on continuous data, whereas many applications involve discrete data. More importantly, it relies on the Coordinate-Ascent Variational Inference (CAVI) algorithm, which is inadequate for handling large tensors with extensive observations. These limitations greatly limit its application scales and scopes, making it suitable only for small-scale problems, such as image/video completion. To address these issues, we propose a novel BTR model that incorporates a nonparametric Multiplicative Gamma Process (MGP) prior, known for its superior accuracy in identifying latent structures. To handle discrete data, we introduce the P\'olya-Gamma augmentation for closed-form updates. Furthermore, we develop an efficient Gibbs sampler for consistent posterior simulation, which reduces the computational complexity of previous VI algorithm by two orders, and an online EM algorithm that is scalable to extremely large tensors. To showcase the advantages of our model, we conduct extensive experiments on both simulation data and real-world applications.
- Abstract（参考訳）: テンソル分解は、マルチウェイデータ解析に関連する多くのアプリケーションにおいて重要な役割を果たす。
ベイズ的テンソルリング (Bayesian Tensor Ring, BTR) 因子化は, 確率的推定と学習過程においてテンソルリングランクを自動的に適応するための効果的なアプローチを提供する。
しかし、以前のBTR法では、自動妥当性決定 (ARD) を前もって採用しており、これは準最適解につながる可能性がある。
さらに、多くのアプリケーションは離散データを含むのに対して、これは継続的データにのみ焦点をあてる。
さらに重要なことは、大規模なテンソルを広範な観測で扱うのに不十分なコーディネート・アセント変分推論(CAVI)アルゴリズムに依存している。
これらの制限はアプリケーションスケールとスコープを大幅に制限し、画像やビデオの補完のような小さな問題にのみ適合する。
これらの問題に対処するために,非パラメトリック乗算ガンマプロセス(MGP)を前もって組み込んだ新しいBTRモデルを提案する。
離散データを扱うために、クローズドフォーム更新のためのP\'olya-Gamma拡張を導入する。
さらに,一貫した後続シミュレーションのための効率的なギブスサンプリング器を開発し,従来のVIアルゴリズムの計算複雑性を2桁に減らし,非常に大きなテンソルにスケーラブルなオンラインEMアルゴリズムを開発した。
本モデルの有効性を示すため,シミュレーションデータと実世界のアプリケーションの両方について広範な実験を行った。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - A Bayesian Approach to Data Point Selection [24.98069363998565]
データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。
既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。
DPSに対する新しいベイズ的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-06T09:04:13Z) - Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。
この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文 参考訳（メタデータ） (2024-11-01T21:11:48Z) - Minimally Supervised Learning using Topological Projections in
Self-Organizing Maps [55.31182147885694]
自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。
提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。
提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
論文 参考訳（メタデータ） (2024-01-12T22:51:48Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Parallel and Limited Data Voice Conversion Using Stochastic Variational
Deep Kernel Learning [2.5782420501870296]
本稿では,限られたデータを扱う音声変換手法を提案する。
変分深層学習(SVDKL)に基づく。
非滑らかでより複雑な関数を推定することができる。
論文 参考訳（メタデータ） (2023-09-08T16:32:47Z) - Approximate Gibbs Sampler for Efficient Inference of Hierarchical Bayesian Models for Grouped Count Data [0.0]
本研究は、推定精度を維持しつつ、HBPRMを効率的に学習するための近似ギブスサンプリング器(AGS)を開発した。
実データと合成データを用いた数値実験により,AGSの優れた性能を示した。
論文 参考訳（メタデータ） (2022-11-28T21:00:55Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-10T12:35:02Z) - Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression [17.158289775348063]
カーネル化されたテンソル回帰(BKTR)は、低ランクの時間構造を持つモデリングプロセスに対する新しいスケーラブルなアプローチと考えられる。
そこで本研究では,BKTRのモデル推定と推定において,BKTRの優れた性能と効率性を確認した。
論文 参考訳（メタデータ） (2021-08-31T19:22:23Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data [16.463077353773603]
SigGPDEは,ガウス過程(GP)を逐次データに基づいて拡張可能な分散変動推論フレームワークである。
GPシグネチャカーネルの勾配は双曲偏微分方程式(PDE)の解であることを示す。
この理論的な洞察により、ELBOを最適化する効率的なバックプロパゲーションアルゴリズムを構築することができる。
論文 参考訳（メタデータ） (2021-05-10T09:10:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。