論文の概要: Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training

• arxiv url: http://arxiv.org/abs/2406.01969v1
• Date: Tue, 4 Jun 2024 05:05:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 18:00:19.004309
• Title: Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training
• Title（参考訳）: マルチウェイマルチスライスPHATE:トレーニングによるRNNの隠れダイナミクスの可視化
• Authors: Jiancheng Xie, Lou C. Kohler Voinov, Noga Mudrik, Gal Mishne, Adam Charles,
• Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルなデータ分析に広く使われているツールであるが、計算のブラックボックスとしてよく見られる。 本稿では,RNNの隠れ状態の進化を可視化する新しい手法であるMultiway Multislice PHATE(MM-PHATE)を提案する。
• 参考スコア（独自算出の注目度）: 6.326396282553267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent neural networks (RNNs) are a widely used tool for sequential data analysis, however, they are still often seen as black boxes of computation. Understanding the functional principles of these networks is critical to developing ideal model architectures and optimization strategies. Previous studies typically only emphasize the network representation post-training, overlooking their evolution process throughout training. Here, we present Multiway Multislice PHATE (MM-PHATE), a novel method for visualizing the evolution of RNNs' hidden states. MM-PHATE is a graph-based embedding using structured kernels across the multiple dimensions spanned by RNNs: time, training epoch, and units. We demonstrate on various datasets that MM-PHATE uniquely preserves hidden representation community structure among units and identifies information processing and compression phases during training. The embedding allows users to look under the hood of RNNs across training and provides an intuitive and comprehensive strategy to understanding the network's internal dynamics and draw conclusions, e.g., on why and how one model outperforms another or how a specific architecture might impact an RNN's learning ability.
• Abstract（参考訳）: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルなデータ分析に広く使われているツールであるが、計算のブラックボックスとしてよく見られる。 これらのネットワークの機能原理を理解することは、理想的なモデルアーキテクチャと最適化戦略を開発する上で重要である。 これまでの研究では、トレーニング全体を通して進化過程を見渡すことで、トレーニング後のネットワーク表現のみを強調する研究が一般的だった。 本稿では,RNNの隠れ状態の進化を可視化する新しい手法であるMultiway Multislice PHATE(MM-PHATE)を提案する。 MM-PHATEは、時間、訓練エポック、ユニットなど、RNNにまたがる複数の次元にまたがる構造化カーネルを使用したグラフベースの埋め込みである。 MM-PHATEは、単位間の隠れ表現コミュニティ構造をユニークに保存し、トレーニング中に情報処理と圧縮フェーズを識別する様々なデータセットを実証する。 この埋め込みにより、ユーザーはトレーニング全体にわたってRNNのボンネットの下を見ることができ、ネットワークの内部のダイナミクスを理解し、結論を引き出すための直感的で包括的な戦略を提供する。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
  複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。 ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。 本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
  論文  参考訳（メタデータ） (2021-10-06T10:03:32Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• The geometry of integration in text classification RNNs [20.76659136484842]
  本研究では,自然テキスト分類タスクと合成テキスト分類タスクの両方のバッテリで訓練されたリカレントネットワークについて検討する。 これらの訓練されたRNNの力学は、解釈可能かつ低次元であることがわかった。 我々の観測は、複数のアーキテクチャとデータセットにまたがっており、RNNがテキスト分類を行うのに使用する共通メカニズムを反映している。
  論文  参考訳（メタデータ） (2020-10-28T17:58:53Z)
• Exploring Flip Flop memories and beyond: training recurrent neural networks with key insights [0.0]
  本研究では,時間処理タスク,特に3ビットフリップフロップメモリの実装について検討する。 得られたネットワークは、可視化および分析ツールの配列によって支援され、ダイナミックスを解明するために慎重に分析される。
  論文  参考訳（メタデータ） (2020-10-15T16:25:29Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。