論文の概要: Ensemble perspective for understanding temporal credit assignment

• arxiv url: http://arxiv.org/abs/2102.03740v1
• Date: Sun, 7 Feb 2021 08:14:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 15:16:41.323080
• Title: Ensemble perspective for understanding temporal credit assignment
• Title（参考訳）: 時間的信用割当理解のためのアンサンブル視点
• Authors: Wenxuan Zou, Chan Li, and Haiping Huang
• Abstract要約: 繰り返しニューラルネットワークにおける各接続は、正確な重み値ではなく、スパイクとスラブの分布によってモデル化されていることを示す。 本モデルでは,ネットワーク全体の性能を決定する重要な接続を明らかにする。 したがって、再帰的なニューラルネットワークにおける時間的クレジット割り当てをアンサンブルの観点から研究することを約束している。
• 参考スコア（独自算出の注目度）: 1.9843222704723809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks are widely used for modeling spatio-temporal sequences in both nature language processing and neural population dynamics. However, understanding the temporal credit assignment is hard. Here, we propose that each individual connection in the recurrent computation is modeled by a spike and slab distribution, rather than a precise weight value. We then derive the mean-field algorithm to train the network at the ensemble level. The method is then applied to classify handwritten digits when pixels are read in sequence, and to the multisensory integration task that is a fundamental cognitive function of animals. Our model reveals important connections that determine the overall performance of the network. The model also shows how spatio-temporal information is processed through the hyperparameters of the distribution, and moreover reveals distinct types of emergent neural selectivity. It is thus promising to study the temporal credit assignment in recurrent neural networks from the ensemble perspective.
• Abstract（参考訳）: 繰り返しニューラルネットワークは、自然言語処理とニューラル人口ダイナミクスの両方で時空間配列のモデリングに広く使用されている。 しかし、時間的クレジットの割り当てを理解することは難しい。 本稿では,再帰計算における個々の接続は,正確な重み値ではなく,スパイクとスラブ分布によってモデル化されることを示す。 次に,ネットワークをアンサンブルレベルで学習するための平均場アルゴリズムを導出する。 次に, 動物の基本認知機能である多感覚統合タスクに, 連続して画素を読み取る際に手書き桁を分類する手法を適用した。 本モデルでは,ネットワーク全体の性能を決定する重要な接続を明らかにする。 モデルはまた、時空間情報が分布のハイパーパラメータを通してどのように処理されるかを示し、さらに、創発性神経選択性の異なるタイプを明らかにする。 したがって、リカレントニューラルネットワークにおける時間的クレジット割り当てをアンサンブルの観点から研究することが期待できる。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• Decomposing spiking neural networks with Graphical Neural Activity Threads [0.734084539365505]
  本稿では,神経活動を複数の非結合な並列スレッドに分解するスパイクニューラルネットワークの解析手法を提案する。 このスパイク活性のグラフは自然に空間と時間に重なる解離連結成分に分解される。 我々は,大きなスパイクデータセットで再起する類似スレッドを見つけるための効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-29T05:10:11Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting [50.901984244738806]
  時系列の進化的・マルチスケール相互作用をモデル化する方法を示す。 特に、まず、拡張畳み込みと協調して、スケール固有の相関を捉える階層グラフ構造を提供する。 最終的な予測を得るために上記のコンポーネントを統合するために、統合ニューラルネットワークが提供される。
  論文  参考訳（メタデータ） (2022-06-28T08:11:12Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Long Short-term Cognitive Networks [2.2748974006378933]
  本稿では,短期認知ネットワーク(STCN)モデルの一般化として,Long Short-term Cognitive Networks (LSTCNs) と名づけられたリカレントニューラルネットワークを提案する。 我々のニューラルネットワークは、最先端のリカレントモデルよりも数千倍高速であるながら、小さな予測エラーを報告します。
  論文  参考訳（メタデータ） (2021-06-30T17:42:09Z)
• Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set [0.0]
  本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。 ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。 その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:31Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。