論文の概要: Internal representation dynamics and geometry in recurrent neural networks

• arxiv url: http://arxiv.org/abs/2001.03255v2
• Date: Tue, 14 Jan 2020 14:23:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 04:10:58.383021
• Title: Internal representation dynamics and geometry in recurrent neural networks
• Title（参考訳）: リカレントニューラルネットワークにおける内部表現ダイナミクスと幾何学
• Authors: Stefan Horoi, Guillaume Lajoie and Guy Wolf
• Abstract要約: 本稿では,バニラRNNがネットワークのダイナミクスを解析することにより,単純な分類タスクを実現する方法を示す。 初期の内部表現はデータの実際のラベルから解放されるが、この情報は出力層に直接アクセスできない。
• 参考スコア（独自算出の注目度）: 10.016265742591674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The efficiency of recurrent neural networks (RNNs) in dealing with sequential data has long been established. However, unlike deep, and convolution networks where we can attribute the recognition of a certain feature to every layer, it is unclear what "sub-task" a single recurrent step or layer accomplishes. Our work seeks to shed light onto how a vanilla RNN implements a simple classification task by analysing the dynamics of the network and the geometric properties of its hidden states. We find that early internal representations are evocative of the real labels of the data but this information is not directly accessible to the output layer. Furthermore the network's dynamics and the sequence length are both critical to correct classifications even when there is no additional task relevant information provided.
• Abstract（参考訳）: 逐次データ処理におけるリカレントニューラルネットワーク(RNN)の効率性は長年にわたって確立されてきた。 しかしながら、特定の特徴の認識を各レイヤに分類できる深い畳み込みネットワークとは異なり、単一の再帰的なステップやレイヤが達成する"サブタスク"が何であるかは明確ではない。 我々の研究は、バニラRNNがネットワークのダイナミクスとその隠れ状態の幾何学的性質を分析して、単純な分類タスクをどのように実装するかを明らかにすることを目的としている。 初期の内部表現は実際のデータラベルを連想させるが、この情報は出力層に直接アクセスできない。 さらに、ネットワークのダイナミクスとシーケンス長は、追加のタスク関連情報が提供されていない場合でも、正しい分類に重要である。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Task structure and nonlinearity jointly determine learned representational geometry [0.0]
  本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。 我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
  論文  参考訳（メタデータ） (2024-01-24T16:14:38Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Topological Uncertainty: Monitoring trained neural networks through persistence of activation graphs [0.9786690381850356]
  産業アプリケーションでは、オープンワールド設定から得られるデータは、ネットワークがトレーニングされたベンチマークデータセットと大きく異なる可能性がある。 活性化グラフのトポロジ的特性に基づいて訓練されたニューラルネットワークを監視する手法を開発している。
  論文  参考訳（メタデータ） (2021-05-07T14:16:03Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
  深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。 本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
  論文  参考訳（メタデータ） (2020-06-15T08:58:01Z)
• Modeling Dynamic Heterogeneous Network for Link Prediction using Hierarchical Attention with Temporal RNN [16.362525151483084]
  我々はDyHATRと呼ばれる新しい動的ヘテロジニアスネットワーク埋め込み法を提案する。 階層的な注意を使って異質な情報を学習し、進化パターンを捉えるために時間的注意を伴う繰り返しニューラルネットワークを組み込む。 リンク予測のための4つの実世界のデータセットに対して,本手法をベンチマークした。
  論文  参考訳（メタデータ） (2020-04-01T17:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。