論文の概要: The geometry of integration in text classification RNNs

• arxiv url: http://arxiv.org/abs/2010.15114v2
• Date: Fri, 3 Jun 2022 17:05:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 04:27:57.809134
• Title: The geometry of integration in text classification RNNs
• Title（参考訳）: テキスト分類RNNにおける統合の幾何学
• Authors: Kyle Aitken, Vinay V. Ramasesh, Ankush Garg, Yuan Cao, David Sussillo, Niru Maheswaranathan
• Abstract要約: 本研究では,自然テキスト分類タスクと合成テキスト分類タスクの両方のバッテリで訓練されたリカレントネットワークについて検討する。 これらの訓練されたRNNの力学は、解釈可能かつ低次元であることがわかった。 我々の観測は、複数のアーキテクチャとデータセットにまたがっており、RNNがテキスト分類を行うのに使用する共通メカニズムを反映している。
• 参考スコア（独自算出の注目度）: 20.76659136484842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the widespread application of recurrent neural networks (RNNs) across a variety of tasks, a unified understanding of how RNNs solve these tasks remains elusive. In particular, it is unclear what dynamical patterns arise in trained RNNs, and how those patterns depend on the training dataset or task. This work addresses these questions in the context of a specific natural language processing task: text classification. Using tools from dynamical systems analysis, we study recurrent networks trained on a battery of both natural and synthetic text classification tasks. We find the dynamics of these trained RNNs to be both interpretable and low-dimensional. Specifically, across architectures and datasets, RNNs accumulate evidence for each class as they process the text, using a low-dimensional attractor manifold as the underlying mechanism. Moreover, the dimensionality and geometry of the attractor manifold are determined by the structure of the training dataset; in particular, we describe how simple word-count statistics computed on the training dataset can be used to predict these properties. Our observations span multiple architectures and datasets, reflecting a common mechanism RNNs employ to perform text classification. To the degree that integration of evidence towards a decision is a common computational primitive, this work lays the foundation for using dynamical systems techniques to study the inner workings of RNNs.
• Abstract（参考訳）: さまざまなタスクにリカレントニューラルネットワーク(RNN)が広く適用されているにもかかわらず、これらのタスクをRNNがどのように解決するかの統一的な理解はいまだ解明されていない。 特に、トレーニングされたRNNにどのような動的パターンが生じるのか、これらのパターンがトレーニングデータセットやタスクに依存するのかは不明だ。 この研究は、これらの疑問に、特定の自然言語処理タスク(テキスト分類)のコンテキストで対処する。 動的システム解析のツールを用いて,自然および合成のテキスト分類タスクのバッテリでトレーニングされたリカレントネットワークについて検討した。 これらの訓練されたRNNの力学は、解釈可能かつ低次元である。 具体的には、アーキテクチャやデータセットを通じて、RNNは各クラスがテキストを処理する際に証拠を蓄積し、下層のメカニズムとして低次元のアトラクタ多様体を使用する。 さらに、アトラクタ多様体の次元と幾何学は、トレーニングデータセットの構造によって決定されるが、特に、トレーニングデータセットで計算された単純な単語数統計を用いて、これらの特性を予測する方法について述べる。 我々の観測は複数のアーキテクチャとデータセットにまたがっており、RNNがテキスト分類を行うのに使用する共通メカニズムを反映している。 決定に対する証拠の統合が一般的な計算プリミティブである程度に、この研究は、動的システム技術を用いてRNNの内部動作を研究するための基礎となる。

関連論文リスト

• Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training [6.326396282553267]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルなデータ分析に広く使われているツールであるが、計算のブラックボックスとしてよく見られる。 本稿では,RNNの隠れ状態の進化を可視化する新しい手法であるMultiway Multislice PHATE(MM-PHATE)を提案する。
  論文  参考訳（メタデータ） (2024-06-04T05:05:27Z)
• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。 近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
  論文  参考訳（メタデータ） (2024-03-19T05:37:26Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• Parallel Neural Networks in Golang [0.0]
  本稿では,並列ニューラルネットワーク(PNN)と新しいプログラミング言語Golangの設計と実装について述べる。 Golangとその固有の並列化サポートは、並列ニューラルネットワークシミュレーションにおいて、シーケンシャルなバリエーションに比べて処理時間が大幅に短縮されていることが証明された。
  論文  参考訳（メタデータ） (2023-04-19T11:56:36Z)
• Learning Deep Morphological Networks with Neural Architecture Search [19.731352645511052]
  メタラーニングに基づく形態論的演算子をディープニューラルネットワークに組み込む手法を提案する。 学習したアーキテクチャは、我々の新しい形態的操作が、様々なタスクにおけるDNNのパフォーマンスを著しく向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-14T19:19:48Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。