論文の概要: Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data
- arxiv url: http://arxiv.org/abs/2101.09184v1
- Date: Fri, 22 Jan 2021 16:14:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 17:20:50.023253
- Title: Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data
- Title（参考訳）: 多次元データの予測モデル学習のためのテンソルトレインネットワーク
- Authors: M. Nazareth da Costa, R. Attux, A. Cichocki, J. M. T. Romano
- Abstract要約: 有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep neural networks have attracted the attention of the machine learning
community because of their appealing data-driven framework and of their
performance in several pattern recognition tasks. On the other hand, there are
many open theoretical problems regarding the internal operation of the network,
the necessity of certain layers, hyperparameter selection etc. A promising
strategy is based on tensor networks, which have been very successful in
physical and chemical applications. In general, higher-order tensors are
decomposed into sparsely interconnected lower-order tensors. This is a
numerically reliable way to avoid the curse of dimensionality and to provide
highly compressed representation of a data tensor, besides the good numerical
properties that allow to control the desired accuracy of approximation. In
order to compare tensor and neural networks, we first consider the
identification of the classical Multilayer Perceptron using Tensor-Train. A
comparative analysis is also carried out in the context of prediction of the
Mackey-Glass noisy chaotic time series and NASDAQ index. We have shown that the
weights of a multidimensional regression model can be learned by means of
tensor networks with the aim of performing a powerful compact representation
retaining the accuracy of neural networks. Furthermore, an algorithm based on
alternating least squares has been proposed for approximating the weights in
TT-format with a reduction of computational calculus. By means of a direct
expression, we have approximated the core estimation as the conventional
solution for a general regression model, which allows to extend the
applicability of tensor structures to different algorithms.
- Abstract（参考訳）: 深層ニューラルネットワークは、その魅力的なデータ駆動フレームワークと、いくつかのパターン認識タスクにおけるそのパフォーマンスのために、機械学習コミュニティの注目を集めている。
一方、ネットワークの内部動作、特定の層の必要性、ハイパーパラメータ選択など、多くのオープンな理論的問題が存在する。
有望な戦略は、物理的および化学的応用において非常に成功したテンソルネットワークに基づいている。
一般に、高階テンソルは疎結合な下階テンソルに分解される。
これは次元の呪いを避け、データテンソルの高度に圧縮された表現を提供する数値的に信頼性の高い方法であり、近似の所望の精度を制御できる優れた数値特性を提供する。
テンソルとニューラルネットワークを比較するために,まずテンソルトレインを用いた古典的多層パーセプトロンの同定を検討する。
また、マッキーグラスの騒がしいカオス時系列とnasdaq指数の予測の文脈で比較分析を行った。
ニューラルネットワークの精度を維持する強力なコンパクト表現を実現するために, テンソルネットワークを用いて多次元回帰モデルの重みを学習できることが示されている。
さらに,tt-形式の重みを計算量の減少とともに近似するために,交互最小二乗法に基づくアルゴリズムが提案されている。
直接表現を用いて, 一般回帰モデルの従来の解としてコア推定を近似し, テンソル構造の適用性を異なるアルゴリズムに適用可能とした。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Factor Augmented Tensor-on-Tensor Neural Networks [3.0040661953201475]
本稿では、テンソル因子モデルとディープニューラルネットワークを融合したFATTNN(Facter Augmented-on-Tensor Neural Network)を提案する。
提案アルゴリズムは,予測精度を大幅に向上し,計算時間を大幅に短縮することを示す。
論文 参考訳（メタデータ） (2024-05-30T01:56:49Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Tensor Decomposition for Model Reduction in Neural Networks: A Review [13.96938227911258]
現代のニューラルネットワークはコンピュータビジョン(CV)と自然言語処理(NLP)の分野に革命をもたらした
複雑なCVタスクや画像分類、画像生成、機械翻訳といったNLPタスクの解決に広く用いられている。
本稿では,6つのテンソル分解法を概説し,モデルパラメータの圧縮能力について述べる。
論文 参考訳（メタデータ） (2023-04-26T13:12:00Z) - Tensor Networks for Multi-Modal Non-Euclidean Data [24.50116388903113]
本稿では,グラフ,テンソル,ニューラルネットワークの望ましい特性を物理的に有意義でコンパクトな方法で活用する,新しいマルチグラフネットワーク(mgtn)フレームワークを提案する。
これによりMGTNは不規則なデータソースのローカル情報をパラメータの複雑さを大幅に減らすことができる。
MGTNフレームワークの利点、特にテンソルネットワークの固有の低ランク正規化特性による過度な適合を回避する能力が示されている。
論文 参考訳（メタデータ） (2021-03-27T21:33:46Z) - Segmenting two-dimensional structures with strided tensor networks [1.952097552284465]
教師付き画像分割のためのテンソルネットワークの新規な定式化を提案する。
提案モデルはバックプロパゲーションを用いてエンドツーエンドでトレーニング可能である。
評価の結果,ストレートテンソルネットワークはcnnモデルに比べて競争性が高いことがわかった。
論文 参考訳（メタデータ） (2021-02-13T11:06:34Z) - Anomaly Detection with Tensor Networks [2.3895981099137535]
テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。
画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
論文 参考訳（メタデータ） (2020-06-03T20:41:30Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。