Fugu-MT 論文翻訳(概要): Streaming Probabilistic Deep Tensor Factorization

論文の概要: Streaming Probabilistic Deep Tensor Factorization

arxiv url: http://arxiv.org/abs/2007.07367v1
Date: Tue, 14 Jul 2020 21:25:39 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 13:57:56.633236
Title: Streaming Probabilistic Deep Tensor Factorization
Title（参考訳）: ストリーミング確率的深部テンソル因子化
Authors: Shikai Fang, Zheng Wang, Zhimeng Pan, Ji Liu, Shandian Zhe
Abstract要約: 本稿では,ストリーム確率型Deep tEnsoR分解法であるSPIDERを提案する。仮定密度フィルタおよび予測伝搬フレームワークにおける効率的な後部推論アルゴリズムを開発した。実世界の4つのアプリケーションにアプローチの利点を示す。
参考スコア（独自算出の注目度）: 27.58928876734886
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the success of existing tensor factorization methods, most of them conduct a multilinear decomposition, and rarely exploit powerful modeling frameworks, like deep neural networks, to capture a variety of complicated interactions in data. More important, for highly expressive, deep factorization, we lack an effective approach to handle streaming data, which are ubiquitous in real-world applications. To address these issues, we propose SPIDER, a Streaming ProbabilistIc Deep tEnsoR factorization method. We first use Bayesian neural networks (NNs) to construct a deep tensor factorization model. We assign a spike-and-slab prior over the NN weights to encourage sparsity and prevent overfitting. We then use Taylor expansions and moment matching to approximate the posterior of the NN output and calculate the running model evidence, based on which we develop an efficient streaming posterior inference algorithm in the assumed-density-filtering and expectation propagation framework. Our algorithm provides responsive incremental updates for the posterior of the latent factors and NN weights upon receiving new tensor entries, and meanwhile select and inhibit redundant/useless weights. We show the advantages of our approach in four real-world applications.
Abstract（参考訳）: 既存のテンソル分解法の成功にもかかわらず、それらのほとんどが多重線形分解を行い、データ内の様々な複雑な相互作用を捉えるためにディープニューラルネットワークのような強力なモデリングフレームワークを利用することは滅多にない。より重要なのは、非常に表現力が高く、深い因子化のために、実世界のアプリケーションで広く使われているストリーミングデータを扱う効果的なアプローチが欠けていることです。これらの問題に対処するため、SPIDER(Streaming ProbabilistIc Deep tEnsoR factorization method)を提案する。まずベイズ型ニューラルネットワーク(nns)を用いて,深いテンソル分解モデルを構築した。我々は,nn重みよりも先にスパイク・アンド・スラブを割り当て,スパーシティを奨励し,過剰フィットを防止する。そこで我々はTaylor拡張とモーメントマッチングを用いてNN出力の後部を近似し、仮定密度フィルタおよび期待伝搬フレームワークにおいて効率的な後部推論アルゴリズムを開発するランニングモデルエビデンスを算出する。提案アルゴリズムは,新しいテンソルエントリを受信すると,潜在因子とnn重みの後方に応答的な更新を行い,一方,冗長/無使用重みを選択・抑制する。実世界の4つのアプリケーションにアプローチの利点を示す。

関連論文リスト

Factor Augmented Tensor-on-Tensor Neural Networks [3.0040661953201475]
本稿では、テンソル因子モデルとディープニューラルネットワークを融合したFATTNN(Facter Augmented-on-Tensor Neural Network)を提案する。提案アルゴリズムは,予測精度を大幅に向上し,計算時間を大幅に短縮することを示す。
論文参考訳（メタデータ） (2024-05-30T01:56:49Z)
Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for Private Inference in Deep Neural Networks [0.0]
より小さなネットワークで動的近似を改善する技術としてよく知られているPolyKervNetsに注目する。我々の主な目的は、大規模ネットワークにおけるPolyKervNetの性能を高めるために、最適化に基づくトレーニングレシピを実証的に探索することである。
論文参考訳（メタデータ） (2023-12-23T11:37:18Z)
Negative Flux Aggregation to Estimate Feature Attributions [15.411534490483495]
セキュリティや透明性の懸念が高まる中で、ディープニューラルネットワーク(DNN)の動作を理解する必要性が高まっている。 DNNの説明可能性を高めるために,分岐とフラックスを用いた予測課題に対する入力特徴の属性を推定する。ベクトル解析における発散定理に着想を得て,新しい負フラックス凝集法(NeFLAG)の定式化と,帰属写像を推定するための効率的な近似アルゴリズムを開発した。
論文参考訳（メタデータ） (2023-01-17T16:19:41Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Tensor-based framework for training flexible neural networks [9.176056742068813]
本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。提案アルゴリズムは、異なる基底分解を処理できる。この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
論文参考訳（メタデータ） (2021-06-25T10:26:48Z)
Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2021-06-15T06:39:13Z)
Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-07T14:19:07Z)
Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文参考訳（メタデータ） (2021-01-22T16:14:38Z)
Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文参考訳（メタデータ） (2021-01-12T08:36:23Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。