論文の概要: TERM Model: Tensor Ring Mixture Model for Density Estimation

• arxiv url: http://arxiv.org/abs/2312.08075v1
• Date: Wed, 13 Dec 2023 11:39:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:34:04.705058
• Title: TERM Model: Tensor Ring Mixture Model for Density Estimation
• Title（参考訳）: TERMモデル:密度推定のためのテンソルリング混合モデル
• Authors: Ruituo Wu, Jiani Liu, Ce Zhu, Anh-Huy Phan, Ivan V. Oseledets, Yipeng Liu
• Abstract要約: 本稿では,密度推定器のテンソルリング分解を行い,置換候補の数を著しく削減する。 適応重み付き複数の置換候補を組み込んだ混合モデルはさらに設計され、表現柔軟性が向上する。 このアプローチは、最適置換以外にも、最適置換が独特な情報を提供できることを認めている。
• 参考スコア（独自算出の注目度）: 48.622060998018206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient probability density estimation is a core challenge in statistical machine learning. Tensor-based probabilistic graph methods address interpretability and stability concerns encountered in neural network approaches. However, a substantial number of potential tensor permutations can lead to a tensor network with the same structure but varying expressive capabilities. In this paper, we take tensor ring decomposition for density estimator, which significantly reduces the number of permutation candidates while enhancing expressive capability compared with existing used decompositions. Additionally, a mixture model that incorporates multiple permutation candidates with adaptive weights is further designed, resulting in increased expressive flexibility and comprehensiveness. Different from the prevailing directions of tensor network structure/permutation search, our approach provides a new viewpoint inspired by ensemble learning. This approach acknowledges that suboptimal permutations can offer distinctive information besides that of optimal permutations. Experiments show the superiority of the proposed approach in estimating probability density for moderately dimensional datasets and sampling to capture intricate details.
• Abstract（参考訳）: 確率密度の効率的な推定は統計機械学習における中核的な課題である。 テンソルに基づく確率グラフ法は、ニューラルネットワークアプローチで発生する解釈可能性と安定性の懸念に対処する。 しかし、かなりの数のポテンシャルテンソル置換は、同じ構造であるが様々な表現能力を持つテンソルネットワークにつながる可能性がある。 本稿では, 密度推定器のテンソル環分解を行い, 既存の分解に比べて表現能力を高めつつ置換候補数を大幅に削減する。 さらに、適応重み付き複数の置換候補を組み込んだ混合モデルがさらに設計され、表現性や包括性が向上する。 テンソルネットワーク構造・置換探索の主流方向と異なり,本手法はアンサンブル学習に触発された新たな視点を提供する。 このアプローチは、最適置換以外にも、最適置換が独特な情報を提供できることを認めている。 実験では、中程度の次元データセットの確率密度を推定し、複雑な詳細を捉えるためにサンプリングする手法が優れていることを示す。

関連論文リスト

• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Estimating Higher-Order Mixed Memberships via the $\ell_{2,\infty}$ Tensor Perturbation Bound [8.521132000449766]
  テンソルブロックモデルの一般化であるテンソル混合メンバーシップブロックモデルを提案する。 我々は,モデルの同定可能性を確立し,計算効率の良い推定手法を提案する。 本手法を実データおよびシミュレーションデータに適用し,個別のコミュニティメンバーシップを持つモデルから特定できない効果を示す。
  論文  参考訳（メタデータ） (2022-12-16T18:32:20Z)
• Deep importance sampling using tensor trains with application to a priori and a posteriori rare event estimation [2.4815579733050153]
  本研究では,高次元問題における希少事象確率推定に適した重要度サンプリング手法を提案する。 次数保存変換の合成による参照分布のプッシュフォワードとして、一般的な重要サンプリング問題における最適重要性分布を近似する。 正方形テンソル-トレイン分解は、密度近似による秩序保存された高次元変換を構築するためのスケーラブルなアンザッツを提供する。
  論文  参考訳（メタデータ） (2022-09-05T12:44:32Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Low-rank Characteristic Tensor Density Estimation Part I: Foundations [38.05393186002834]
  テンソル因子化ツールに基づく新しい手法を提案する。 次元の呪いを回避するため、この特性テンソルの低ランクモデルを導入する。 提案手法の有望な性能を,複数の測定データを用いて実証する。
  論文  参考訳（メタデータ） (2020-08-27T18:06:19Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。