論文の概要: Incremental Learning and Self-Attention Mechanisms Improve Neural System Identification

• arxiv url: http://arxiv.org/abs/2406.07843v1
• Date: Wed, 12 Jun 2024 03:21:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 18:34:46.515326
• Title: Incremental Learning and Self-Attention Mechanisms Improve Neural System Identification
• Title（参考訳）: インクリメンタルラーニングと自己注意機構がニューラルシステム同定を改善する
• Authors: Isaac Lin, Tianye Wang, Shang Gao, Shiming Tang, Tai Sing Lee,
• Abstract要約: 一次視覚野の皮質ニューロンは、水平およびフィードバック接続によって媒介される文脈情報に敏感である。 標準的なCNNは、このような文脈変調をモデル化するために、グローバルな空間画像情報を統合することができる。 理論的には文脈依存型フレキシブルゲーティング機構と関係のある非局所ネットワークや自己注意機構が,神経応答予測を改善することを発見した。
• 参考スコア（独自算出の注目度）: 2.784365807133169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional neural networks (CNNs) have been shown to be the state-of-the-art approach for modeling the transfer functions of visual cortical neurons. Cortical neurons in the primary visual cortex are are sensitive to contextual information mediated by extensive horizontal and feedback connections. Standard CNNs can integrate global spatial image information to model such contextual modulation via two mechanisms: successive rounds of convolutions and a fully connected readout layer. In this paper, we find that non-local networks or self-attention (SA) mechanisms, theoretically related to context-dependent flexible gating mechanisms observed in the primary visual cortex, improve neural response predictions over parameter-matched CNNs in two key metrics: tuning curve correlation and tuning peak. We factorize networks to determine the relative contribution of each context mechanism. This reveals that information in the local receptive field is most important for modeling the overall tuning curve, but surround information is critically necessary for characterizing the tuning peak. We find that self-attention can replace subsequent spatial-integration convolutions when learned in an incremental manner, and is further enhanced in the presence of a fully connected readout layer, suggesting that the two context mechanisms are complementary. Finally, we find that learning a receptive-field-centric model with self-attention, before incrementally learning a fully connected readout, yields a more biologically realistic model in terms of center-surround contributions.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、視覚皮質ニューロンの伝達関数をモデル化するための最先端のアプローチであることが示されている。 一次視覚野の皮質ニューロンは、広範囲な水平およびフィードバック接続によって媒介される文脈情報に敏感である。 標準CNNはグローバル空間画像情報を統合して、連続的な畳み込みラウンドと完全に接続された読み出し層という2つのメカニズムを通じて、そのような文脈変調をモデル化することができる。 本稿では,一次視覚野で観測される文脈依存型フレキシブルゲーティング機構に理論的に関係する非局所ネットワークや自己注意機構が,パラメータマッチングCNN上でのニューラル応答予測を2つの重要な指標で改善することを見出した。 各コンテキストメカニズムの相対的寄与を決定するために,ネットワークを分解する。 このことは、局所受容領域の情報は、全体のチューニング曲線をモデル化する上で最も重要であることを示しているが、チューニングピークを特徴づけるためには、周囲の情報は極めて必要である。 本研究は, 自己意識がその後の空間統合畳み込みを漸進的に学習し, 完全に連結された読み出し層の存在によってさらに強化され, 2つの文脈機構が相補的であることを示唆する。 最後に、自己注意を伴う受容場中心のモデルを学ぶ前に、完全に連結された読み出しを漸進的に学習することで、中心的なコントリビューションの観点からより生物学的に現実的なモデルが得られることを発見した。

関連論文リスト

• The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
  動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。 DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
  論文  参考訳（メタデータ） (2024-07-08T06:22:10Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Binding Dynamics in Rotating Features [72.80071820194273]
  本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
  論文  参考訳（メタデータ） (2024-02-08T12:31:08Z)
• Attention mechanisms for physiological signal deep learning: which attention should we take? [0.0]
  我々は,4つのアテンション機構(例えば,圧縮励起,非局所的,畳み込みブロックアテンションモジュール,マルチヘッド自己アテンション)と3つの畳み込みニューラルネットワーク(CNN)アーキテクチャを実験的に解析した。 生理信号深層学習モデルの性能と収束性に関する複数の組み合わせを評価した。
  論文  参考訳（メタデータ） (2022-07-04T07:24:08Z)
• Insights on Neural Representations for End-to-End Speech Recognition [28.833851817220616]
  エンドツーエンド自動音声認識(ASR)モデルは、一般化された音声表現を学習することを目的としている。 相関解析手法を用いたネットワーク類似性の調査は、エンド・ツー・エンドASRモデルでは行われていない。 本稿では,CNN,LSTM,Transformerをベースとしたトレーニングにおいて,レイヤ間の内部ダイナミクスを解析し,検討する。
  論文  参考訳（メタデータ） (2022-05-19T10:19:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• A Graph Neural Network Framework for Causal Inference in Brain Networks [0.3392372796177108]
  神経科学における中心的な問題は、脳内の自律的な動的相互作用が、比較的静的なバックボーンにどのように現れるかである。 構造解剖学的レイアウトに基づく機能的相互作用を記述するグラフニューラルネットワーク(GNN)フレームワークを提案する。 我々は,GNNがデータの長期的依存関係をキャプチャし,大規模ネットワークの解析までスケールアップ可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-14T15:01:21Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。