論文の概要: State-Regularized Recurrent Neural Networks to Extract Automata and Explain Predictions

• arxiv url: http://arxiv.org/abs/2212.05178v1
• Date: Sat, 10 Dec 2022 02:06:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 17:13:32.287673
• Title: State-Regularized Recurrent Neural Networks to Extract Automata and Explain Predictions
• Title（参考訳）: 状態正規化リカレントニューラルネットワークによるオートマトン抽出と予測
• Authors: Cheng Wang, Carolin Lawrence, Mathias Niepert
• Abstract要約: 状態規則化は、RNNを学習可能な有限の状態間で遷移させる。 本研究では,(1)自動抽出を目的とした正規言語における状態規則化RNNの評価,(2)外部記憶を必要とするバランスの取れた括弧やパリンドロムなどの非正規言語,(3)感情分析,視覚オブジェクト認識,テキスト分類のための実単語シーケンス学習タスクについて述べる。
• 参考スコア（独自算出の注目度）: 29.84563789289183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent neural networks are a widely used class of neural architectures. They have, however, two shortcomings. First, they are often treated as black-box models and as such it is difficult to understand what exactly they learn as well as how they arrive at a particular prediction. Second, they tend to work poorly on sequences requiring long-term memorization, despite having this capacity in principle. We aim to address both shortcomings with a class of recurrent networks that use a stochastic state transition mechanism between cell applications. This mechanism, which we term state-regularization, makes RNNs transition between a finite set of learnable states. We evaluate state-regularized RNNs on (1) regular languages for the purpose of automata extraction; (2) non-regular languages such as balanced parentheses and palindromes where external memory is required; and (3) real-word sequence learning tasks for sentiment analysis, visual object recognition and text categorisation. We show that state-regularization (a) simplifies the extraction of finite state automata that display an RNN's state transition dynamic; (b) forces RNNs to operate more like automata with external memory and less like finite state machines, which potentiality leads to a more structural memory; (c) leads to better interpretability and explainability of RNNs by leveraging the probabilistic finite state transition mechanism over time steps.
• Abstract（参考訳）: リカレントニューラルネットワークは、広く使われているニューラルネットワークのクラスである。 しかし、2つの欠点がある。 第一に、それらはしばしばブラックボックスモデルとして扱われるので、彼らが正確に何を学び、どのように特定の予測に到達するかを理解するのは難しい。 第二に、原則としてこのような能力を持つにもかかわらず、長期記憶を必要とするシーケンスではうまく機能しない傾向がある。 我々は,セルアプリケーション間の確率的状態遷移機構を用いた再帰的ネットワークのクラスで,両方の欠点に対処することを目指している。 この機構は状態規則化と呼ばれ、RNNを学習可能な有限の状態間で遷移させる。 自動抽出のために,(1)正規言語における状態正規化rnnの評価,(2)外部記憶が必要な平衡括弧やパリンドロームなどの非正規言語,(3)感情分析,視覚物体認識,テキスト分類のための実単語列学習タスクの評価を行った。 状態規則化は (a) rnnの状態遷移ダイナミクスを表示する有限状態オートマトン抽出を単純化する。 b) RNNを外部メモリを備えたオートマトンのように動作させ、有限状態マシンのように動作させる。 c) 確率的有限状態遷移機構を時間ステップで活用することで、rnnの解釈性と説明性が向上する。

関連論文リスト

• Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
  RNN LMが表現できる確率分布のクラスについて検討する。 単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。 これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
  論文  参考訳（メタデータ） (2023-10-08T13:36:05Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• Recurrent Neural Networks for Learning Long-term Temporal Dependencies with Reanalysis of Time Scale Representation [16.32068729107421]
  時間的表現としての忘れ門の解釈は、状態に対する損失の勾配が時間とともに指数関数的に減少するときに有効であると主張する。 本稿では,従来のモデルよりも長い時間スケールを表現できる新しいRNNの構築手法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T06:22:58Z)
• Learning and Generalization in RNNs [11.107204912245841]
  単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。 新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
  論文  参考訳（メタデータ） (2021-05-31T18:27:51Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Stability of Internal States in Recurrent Neural Networks Trained on Regular Languages [0.0]
  正規言語認識のためのニューラルネットワークの安定性について検討する。 この飽和状態において、ネットワークアクティベーションの分析は、有限状態機械における離散状態に似た一連のクラスターを示す。 入力シンボルに対応する状態間の遷移は決定論的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:50:15Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)
• Going in circles is the way forward: the role of recurrence in visual inference [0.0]
  視覚認識のための最先端のニューラルネットワークモデルは、フィードフォワード計算に大きく、あるいは排他的に依存している。 この重要な洞察は、計算神経科学者が繰り返し計算を行う必要がないことを示唆している。 我々は、FNNはRNNの特殊なケースであり、計算神経科学者や技術者は、脳や機械がより柔軟で柔軟な計算深度を達成する方法を理解するために、繰り返し作業を行うべきであると論じている。
  論文  参考訳（メタデータ） (2020-03-26T19:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。