論文の概要: On Computability, Learnability and Extractability of Finite State
Machines from Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2009.06398v1
- Date: Thu, 10 Sep 2020 15:55:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 03:00:10.611482
- Title: On Computability, Learnability and Extractability of Finite State
Machines from Recurrent Neural Networks
- Title（参考訳）: リカレントニューラルネットワークによる有限状態マシンの計算可能性,学習性,抽出性について
- Authors: Reda Marzouk
- Abstract要約: この研究は、有限状態マシン(FSM)とリカレントニューラルネットワーク(RNN)の間の接続に光を当てることを目的としている。
このマスターの論文では、リカレントニューラルネットワークからの有限状態マシンの抽出可能性、学習可能性の側面、計算リンクの3倍のコネクションが検討されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work aims at shedding some light on connections between finite state
machines (FSMs), and recurrent neural networks (RNNs). Examined connections in
this master's thesis is threefold: the extractability of finite state machines
from recurrent neural networks, learnability aspects and computationnal links.
With respect to the former, the long-standing clustering hypothesis of RNN
hidden state space when trained to recognize regular languages was explored,
and new insights into this hypothesis through the lens of recent advances of
the generalization theory of Deep Learning are provided. As for learnability,
an extension of the active learning framework better suited to the problem of
approximating RNNs with FSMs is proposed, with the aim of better formalizing
the problem of RNN approximation by FSMs. Theoretical analysis of two possible
scenarions in this framework were performed. With regard to computability, new
computational results on the distance and the equivalence problem between RNNs
trained as language models and different types of weighted finite state
machines were given.
- Abstract（参考訳）: この研究は、有限状態マシン(FSM)とリカレントニューラルネットワーク(RNN)の間の接続に光を当てることを目的としている。
このマスターの論文における接続は、再帰的なニューラルネットワークからの有限状態機械の抽出可能性、学習可能性の側面、計算的リンクの3つである。
前者に関しては、正規言語を認識できるように訓練されたRNN隠れ状態空間の長期的クラスタリング仮説が検討され、この仮説に対する新たな洞察が深層学習の一般化理論の最近の進歩のレンズを通して提供される。
学習性については、FSMによるRNN近似の問題をより適切に定式化することを目的として、FSMによるRNN近似の問題に適合するアクティブラーニングフレームワークの拡張を提案する。
この枠組みで考えられる2つのシナリオの理論解析を行った。
計算可能性に関しては,言語モデルと異なる種類の重み付き有限状態マシンとして訓練されたRNN間の距離と等価性に関する新たな計算結果が与えられた。
関連論文リスト
- Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。
近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
論文 参考訳（メタデータ） (2024-03-19T05:37:26Z) - Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - Neural Network with Local Converging Input (NNLCI) for Supersonic Flow
Problems with Unstructured Grids [0.9152133607343995]
非構造データを用いた高忠実度予測のための局所収束入力(NNLCI)を用いたニューラルネットワークを開発した。
また, NNLCI法を用いて, バンプを有するチャネル内の超音速流の可視化を行った。
論文 参考訳（メタデータ） (2023-10-23T19:03:37Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳（メタデータ） (2022-05-31T17:02:26Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Fusing the Old with the New: Learning Relative Camera Pose with
Geometry-Guided Uncertainty [91.0564497403256]
本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。
本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。
学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
論文 参考訳（メタデータ） (2021-04-16T17:59:06Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳（メタデータ） (2020-06-30T14:46:08Z) - Going in circles is the way forward: the role of recurrence in visual
inference [0.0]
視覚認識のための最先端のニューラルネットワークモデルは、フィードフォワード計算に大きく、あるいは排他的に依存している。
この重要な洞察は、計算神経科学者が繰り返し計算を行う必要がないことを示唆している。
我々は、FNNはRNNの特殊なケースであり、計算神経科学者や技術者は、脳や機械がより柔軟で柔軟な計算深度を達成する方法を理解するために、繰り返し作業を行うべきであると論じている。
論文 参考訳（メタデータ） (2020-03-26T19:53:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。