論文の概要: Explainable Natural Language Processing with Matrix Product States

• arxiv url: http://arxiv.org/abs/2112.08628v1
• Date: Thu, 16 Dec 2021 05:10:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-18 05:10:53.435150
• Title: Explainable Natural Language Processing with Matrix Product States
• Title（参考訳）: マトリックス製品状態を用いた説明可能な自然言語処理
• Authors: Jirawat Tangpanitanon, Chanatip Mangkang, Pradeep Bhadola, Yuichiro Minato, Dimitris Angelakis, Thiparat Chotibut
• Abstract要約: 我々は,映画レビューの感情分析である,ユビキタスNLPタスクにおいて,RNNの行動の体系的分析を行う。 単層RACは最大情報伝達能力を有することを示す。 我々の研究は、RACにおける学習の現象学と、より一般的にはNLPにおけるRNNの説明可能性に光を当てている。
• 参考スコア（独自算出の注目度）: 2.3243389656894595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite empirical successes of recurrent neural networks (RNNs) in natural language processing (NLP), theoretical understanding of RNNs is still limited due to intrinsically complex computations in RNNs. We perform a systematic analysis of RNNs' behaviors in a ubiquitous NLP task, the sentiment analysis of movie reviews, via the mapping between a class of RNNs called recurrent arithmetic circuits (RACs) and a matrix product state (MPS). Using the von-Neumann entanglement entropy (EE) as a proxy for information propagation, we show that single-layer RACs possess a maximum information propagation capacity, reflected by the saturation of the EE. Enlarging the bond dimension of an MPS beyond the EE saturation threshold does not increase the prediction accuracies, so a minimal model that best estimates the data statistics can be constructed. Although the saturated EE is smaller than the maximum EE achievable by the area law of an MPS, our model achieves ~99% training accuracies in realistic sentiment analysis data sets. Thus, low EE alone is not a warrant against the adoption of single-layer RACs for NLP. Contrary to a common belief that long-range information propagation is the main source of RNNs' expressiveness, we show that single-layer RACs also harness high expressiveness from meaningful word vector embeddings. Our work sheds light on the phenomenology of learning in RACs and more generally on the explainability aspects of RNNs for NLP, using tools from many-body quantum physics.
• Abstract（参考訳）: 自然言語処理(NLP)におけるリカレントニューラルネットワーク(RNN)の実証的な成功にもかかわらず、RNNの理論的理解は、本質的に複雑な計算のため、依然として限られている。 我々は,再帰演算回路 (RAC) と行列積状態 (MPS) と呼ばれるRNNのクラス間のマッピングにより,ユビキタスNLPタスクにおけるRNNの動作の系統的解析,映画レビューの感情分析を行う。 情報伝達のプロキシとしてvon-Neumannエンタングルメントエントロピー(EE)を用いて,脳波の飽和を反映した単一層RACが最大情報伝達能力を有することを示す。 ee飽和しきい値を超えてmpsの結合次元を拡大しても予測精度は向上しないため、データ統計を最もよく見積もる最小限のモデルを構築することができる。 飽和EEはMPSの領域法則により達成できる最大EEよりも小さいが,本モデルは現実的な感情分析データセットにおいて約99%のトレーニング精度を達成する。 したがって、低EEだけでは、NLPに単一層RACを採用することは保証されない。 長距離情報伝達がRNNの表現力の主源であるという一般的な信念とは対照的に,単層RACは意味のある単語ベクトル埋め込みから高い表現力を持つ。 我々の研究は、RACにおける学習の現象学、より一般的には多体量子物理学のツールを用いて、NLPのためのRNNの説明可能性の側面に光を当てている。

関連論文リスト

• Explicit Context Integrated Recurrent Neural Network for Sensor Data Applications [0.0]
  Context Integrated RNN (CiRNN) は、コンテキスト特徴の形式で表現された明示的なコンテキストの統合を可能にする。 実験では、最先端モデルよりもそれぞれ39%と87%の改善が見られた。
  論文  参考訳（メタデータ） (2023-01-12T13:58:56Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Relational Weight Priors in Neural Networks for Abstract Pattern Learning and Language Modelling [6.980076213134383]
  抽象パターンは、見えないデータに対する一般化の観点から、ニューラルネットワークにとって難しい問題の最もよく知られた例である。 これらの低レベル問題は、ニューラルネットワークが体系的に学習できないことを示しています。 抽象パターンの等価性と距離関係の学習を促進するリレーショナルインダクティブバイアスを作成するための新しい方法として、組み込みリレーショナルベースパターン(ERBP)を提案する。
  論文  参考訳（メタデータ） (2021-03-10T17:21:16Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Distance and Equivalence between Finite State Machines and Recurrent Neural Networks: Computational results [0.348097307252416]
  訓練されたRNN言語モデルから有限状態マシンベースモデルを抽出する問題に関するいくつかの結果を示す。 我々の3-SATによる削減技術は、後者の事実を他のRNNアーキテクチャに容易に一般化できるようにする。
  論文  参考訳（メタデータ） (2020-04-01T14:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。