論文の概要: NeuroView-RNN: It's About Time

• arxiv url: http://arxiv.org/abs/2202.11811v1
• Date: Wed, 23 Feb 2022 22:29:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-26 08:06:24.119975
• Title: NeuroView-RNN: It's About Time
• Title（参考訳）: NeuroView-RNN: そろそろ時間だ
• Authors: CJ Barberan, Sina Alemohammad, Naiming Liu, Randall Balestriero, Richard G. Baraniuk
• Abstract要約: RNNにおける重要な解釈可能性の問題は、各時間毎の隠れた状態が意思決定プロセスにどのように貢献するかが明確でないことである。 本稿では,新しいRNNアーキテクチャのファミリとしてNeuroView-RNNを提案する。 我々は,さまざまな時系列データセットを用いて評価することで,NeuroView-RNNの利点を実証する。
• 参考スコア（独自算出の注目度）: 25.668977252138905
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recurrent Neural Networks (RNNs) are important tools for processing sequential data such as time-series or video. Interpretability is defined as the ability to be understood by a person and is different from explainability, which is the ability to be explained in a mathematical formulation. A key interpretability issue with RNNs is that it is not clear how each hidden state per time step contributes to the decision-making process in a quantitative manner. We propose NeuroView-RNN as a family of new RNN architectures that explains how all the time steps are used for the decision-making process. Each member of the family is derived from a standard RNN architecture by concatenation of the hidden steps into a global linear classifier. The global linear classifier has all the hidden states as the input, so the weights of the classifier have a linear mapping to the hidden states. Hence, from the weights, NeuroView-RNN can quantify how important each time step is to a particular decision. As a bonus, NeuroView-RNN also offers higher accuracy in many cases compared to the RNNs and their variants. We showcase the benefits of NeuroView-RNN by evaluating on a multitude of diverse time-series datasets.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、時系列やビデオなどのシーケンシャルなデータを処理するための重要なツールである。 解釈可能性とは、人によって理解される能力として定義され、数学的定式化で説明できる能力である説明可能性とは異なる。 RNNにおける重要な解釈可能性の問題は、時間毎に隠された各状態が定量的に意思決定プロセスにどのように貢献するかが明確でないことである。 本稿では,新しいRNNアーキテクチャのファミリとしてNeuroView-RNNを提案する。 ファミリーの各メンバーは、隠されたステップをグローバル線形分類器に結合することにより、標準のRNNアーキテクチャから派生する。 大域線形分類器は入力としてすべての隠れ状態を持つので、分類器の重みは隠された状態への線形写像を持つ。 したがって、重みから、NeuroView-RNNは、各ステップが特定の決定に対してどれだけ重要かを定量化できます。 ボーナスとして、NeuroView-RNNはRNNとその変種と比較して多くのケースで高い精度を提供する。 我々は,さまざまな時系列データセットを用いて評価することで,NeuroView-RNNの利点を示す。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Investigating Sparsity in Recurrent Neural Networks [0.0]
  本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。 まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。 次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
  論文  参考訳（メタデータ） (2024-07-30T07:24:58Z)
• Learning Useful Representations of Recurrent Neural Network Weight Matrices [30.583752432727326]
  リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。 下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか? 我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。 我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
  論文  参考訳（メタデータ） (2024-03-18T17:32:23Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Kernel Limit of Recurrent Neural Networks Trained on Ergodic Data Sequences [0.0]
  我々は、リカレントニューラルネットワーク(RNN)の接点を、隠されたユニットの数、シーケンス内のデータサンプル、隠された状態更新、トレーニングステップを同時に無限に成長させるものとして特徴づける。 これらの手法は、データサンプルの数とニューラルネットワークのサイズが無限に増加するにつれて、データシーケンスに基づいてトレーニングされたRNNのニューラルネットワーク(NTK)制限を引き起こす。
  論文  参考訳（メタデータ） (2023-08-28T13:17:39Z)
• Dynamic Analysis and an Eigen Initializer for Recurrent Neural Networks [0.0]
  繰り返しニューラルネットワークにおける隠れ状態のダイナミクスについて検討する。 重み行列の固有分解に基づいて隠れ状態空間を解析するための新しい視点を提案する。 本稿では,固有解析に基づく長期依存の説明を行う。
  論文  参考訳（メタデータ） (2023-07-28T17:14:58Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities and Differences [36.82069150045153]
  スパイキングニューラルネットワーク(SNN)とリカレントニューラルネットワーク(RNN)は、ニューロモルフィックデータに基づいてベンチマークされる。 本研究では,SNNとRNNをニューロモルフィックデータと比較するための系統的研究を行う。
  論文  参考訳（メタデータ） (2020-05-02T10:19:37Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。