論文の概要: Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning
- arxiv url: http://arxiv.org/abs/2010.10029v2
- Date: Thu, 6 Jan 2022 19:06:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 23:19:15.749580
- Title: Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning
- Title（参考訳）: スペクトル学習による重み付きオートマトン,テンソルネットワーク,リカレントニューラルネットワークの接続
- Authors: Tianyu Li, Doina Precup, Guillaume Rabusseau
- Abstract要約: 我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 58.14930566993063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present connections between three models used in different
research fields: weighted finite automata~(WFA) from formal languages and
linguistics, recurrent neural networks used in machine learning, and tensor
networks which encompasses a set of optimization techniques for high-order
tensors used in quantum physics and numerical analysis. We first present an
intrinsic relation between WFA and the tensor train decomposition, a particular
form of tensor network. This relation allows us to exhibit a novel low rank
structure of the Hankel matrix of a function computed by a WFA and to design an
efficient spectral learning algorithm leveraging this structure to scale the
algorithm up to very large Hankel matrices.We then unravel a fundamental
connection between WFA and second-orderrecurrent neural networks~(2-RNN): in
the case of sequences of discrete symbols, WFA and 2-RNN with linear
activationfunctions are expressively equivalent. Leveraging this equivalence
result combined with the classical spectral learning algorithm for weighted
automata, we introduce the first provable learning algorithm for linear 2-RNN
defined over sequences of continuous input vectors.This algorithm relies on
estimating low rank sub-blocks of the Hankel tensor, from which the parameters
of a linear 2-RNN can be provably recovered. The performances of the proposed
learning algorithm are assessed in a simulation study on both synthetic and
real-world data.
- Abstract（参考訳）: 本稿では、形式言語と言語学からの重み付き有限オートマトン~(WFA)、機械学習で使用されるリカレントニューラルネットワーク、量子物理学や数値解析で使用される高次テンソルの一連の最適化技術を含むテンソルネットワークの3つのモデル間の接続について述べる。
まず、WFAとテンソル・トレインの分解(テンソル・ネットワークの特定の形態)の関係について述べる。
この関係により、WFAによって計算された関数のハンケル行列の新たな低階構造を示し、この構造を利用してアルゴリズムを非常に大きなハンケル行列まで拡張する効率的なスペクトル学習アルゴリズムを設計することができる。
重み付きオートマトンに対する古典的スペクトル学習アルゴリズムと組み合わせて、連続入力ベクトルの列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを導入し、このアルゴリズムは、線形2-RNNのパラメータを証明可能なハンケルテンソルの低階サブブロックの推定に依存する。
提案した学習アルゴリズムの性能は,合成データと実世界のデータの両方に関するシミュレーション研究で評価される。
関連論文リスト
- Front-propagation Algorithm: Explainable AI Technique for Extracting Linear Function Approximations from Neural Networks [0.0]
本稿では、深層ニューラルネットワークの意思決定ロジックの解明を目的とした、新しいAI技術であるフロントプロパゲーションアルゴリズムを紹介する。
積分グラディエントやシェープ値などの他の一般的な説明可能性アルゴリズムとは異なり、提案アルゴリズムはネットワークの正確で一貫した線形関数説明を抽出することができる。
公開されているベンチマークデータセットに基づいてトレーニングされた3つの異なるニューラルネットワークアーキテクチャで、正確な線形関数を提供することの有効性を実証する。
論文 参考訳（メタデータ） (2024-05-25T14:50:23Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - SA-CNN: Application to text categorization issues using simulated
annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。
テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T14:27:34Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Variational Tensor Neural Networks for Deep Learning [0.0]
深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。
これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。
我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
論文 参考訳（メタデータ） (2022-11-26T20:24:36Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳（メタデータ） (2022-11-22T16:30:33Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Tensor-based framework for training flexible neural networks [9.176056742068813]
本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。
提案アルゴリズムは、異なる基底分解を処理できる。
この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
論文 参考訳（メタデータ） (2021-06-25T10:26:48Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。