論文の概要: Towards Flexible Sparsity-Aware Modeling: Automatic Tensor Rank Learning Using The Generalized Hyperbolic Prior

• arxiv url: http://arxiv.org/abs/2009.02472v2
• Date: Tue, 29 Mar 2022 07:22:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 20:42:20.036618
• Title: Towards Flexible Sparsity-Aware Modeling: Automatic Tensor Rank Learning Using The Generalized Hyperbolic Prior
• Title（参考訳）: フレキシブル・スパシティ・アウェア・モデリングに向けて:一般化双曲前処理を用いた自動テンソルランク学習
• Authors: Lei Cheng, Zhongtao Chen, Qingjiang Shi, Yik-Chung Wu, and Sergios Theodoridis
• Abstract要約: 正準多進分解(CPD)のためのランク学習は、長い間必須だが難しい問題とみなされてきた。 テンソルランクの最適決定は、非決定論的時間ハード(NP-hard)タスクであることが知られている。 本稿では,確率論的モデリングモデルに先立って,より高度な一般化双曲型(GH)を導入する。
• 参考スコア（独自算出の注目度）: 24.848237413017937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor rank learning for canonical polyadic decomposition (CPD) has long been deemed as an essential yet challenging problem. In particular, since the tensor rank controls the complexity of the CPD model, its inaccurate learning would cause overfitting to noise or underfitting to the signal sources, and even destroy the interpretability of model parameters. However, the optimal determination of a tensor rank is known to be a non-deterministic polynomial-time hard (NP-hard) task. Rather than exhaustively searching for the best tensor rank via trial-and-error experiments, Bayesian inference under the Gaussian-gamma prior was introduced in the context of probabilistic CPD modeling, and it was shown to be an effective strategy for automatic tensor rank determination. This triggered flourishing research on other structured tensor CPDs with automatic tensor rank learning. On the other side of the coin, these research works also reveal that the Gaussian-gamma model does not perform well for high-rank tensors and/or low signal-to-noise ratios (SNRs). To overcome these drawbacks, in this paper, we introduce a more advanced generalized hyperbolic (GH) prior to the probabilistic CPD model, which not only includes the Gaussian-gamma model as a special case, but also is more flexible to adapt to different levels of sparsity. Based on this novel probabilistic model, an algorithm is developed under the framework of variational inference, where each update is obtained in a closed-form. Extensive numerical results, using synthetic data and real-world datasets, demonstrate the significantly improved performance of the proposed method in learning both low as well as high tensor ranks even for low SNR cases.
• Abstract（参考訳）: 標準ポリアディック分解(CPD)のためのテンソルランク学習は、長い間必須だが難しい問題とみなされてきた。 特に、テンソルランクがPDモデルの複雑さを制御するため、その不正確な学習はノイズへの過度な適合や信号源への過度な適合を引き起こし、モデルパラメータの解釈可能性を破壊する。 しかし、テンソルランクの最適決定は非決定論的多項式時間ハード(NP-hard)タスクであることが知られている。 試行錯誤実験によって最高のテンソルランクを求めるのではなく、確率的cpdモデリングの文脈でガウス・ガンマ前置法に基づくベイズ推定が導入され、自動テンソルランク決定に有効な戦略であることが示されている。 これは、自動テンソルランク学習を伴う他の構造化テンソルCPDの研究が盛んになった。 硬貨の反対側では、ガウス-ガンマモデルは高階テンソルや低信号対雑音比(snrs)ではうまく機能しないことも研究で明らかになった。 これらの欠点を克服するため,本稿では,確率的cpdモデルに先立って,より先進的な一般化双曲型 (gh) を導入する。 この新しい確率モデルに基づき、アルゴリズムは変分推論の枠組みの下で開発され、各更新は閉形式で得られる。 合成データと実世界のデータセットを用いた大規模数値計算により,低SNRの場合においても,低および高テンソルランクの学習において,提案手法の性能が著しく向上したことを示す。

関連論文リスト

• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• Statistical and computational rates in high rank tensor estimation [11.193504036335503]
  高次のテンソルデータセットは一般的にレコメンデーションシステム、ニューロイメージング、ソーシャルネットワークに現れる。 高階モデルと低階モデルの両方を組み込んだ生成潜在変数テンソルモデルを考える。 統計的-計算的ギャップは 3 以上の潜時変テンソルに対してのみ現れることを示す。
  論文  参考訳（メタデータ） (2023-04-08T15:34:26Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements [30.395874385570007]
  基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。 タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。 2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:44:49Z)
• A Distributed Optimisation Framework Combining Natural Gradient with Hessian-Free for Discriminative Sequence Training [16.83036203524611]
  本稿では、ニューラルネットワークトレーニングのための自然勾配およびヘッセンフリー(NGHF)最適化フレームワークを提案する。 これは、自然勾配(ng)法とヘッセンフリー(hf)や他の二次法からの局所曲率情報を組み合わせた線形共役勾配(cg)アルゴリズムに依存している。 さまざまな音響モデルタイプのマルチジャンル放送データセットで実験が報告されています。
  論文  参考訳（メタデータ） (2021-03-12T22:18:34Z)
• Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
  決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。 非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:41:56Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。