論文の概要: Long-Range Feedback Spiking Network Captures Dynamic and Static Representations of the Visual Cortex under Movie Stimuli

• arxiv url: http://arxiv.org/abs/2306.01354v2
• Date: Fri, 01 Nov 2024 09:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:32:41.748566
• Title: Long-Range Feedback Spiking Network Captures Dynamic and Static Representations of the Visual Cortex under Movie Stimuli
• Title（参考訳）: 映像刺激下での視覚野の動的および静的表現におけるロングレンジフィードバックスパイクネットワーク
• Authors: Liwei Huang, Zhengyu Ma, Liutao Yu, Huihui Zhou, Yonghong Tian,
• Abstract要約: 視覚野が、文脈に富む情報を含む自然の映画刺激をどのように表現するかについては、限られた知見がある。 本研究では、大脳皮質領域間のトップダウン接続を模倣した長距離フィードバックスパイクネットワーク(LoRaFB-SNet)を提案する。 本稿では,マウスのモデル表現と視覚皮質表現の類似性を測定するために,時系列表現類似性分析(TSRSA)を提案する。
• 参考スコア（独自算出の注目度）: 25.454851828755054
• License:
• Abstract: Deep neural networks (DNNs) are widely used models for investigating biological visual representations. However, existing DNNs are mostly designed to analyze neural responses to static images, relying on feedforward structures and lacking physiological neuronal mechanisms. There is limited insight into how the visual cortex represents natural movie stimuli that contain context-rich information. To address these problems, this work proposes the long-range feedback spiking network (LoRaFB-SNet), which mimics top-down connections between cortical regions and incorporates spike information processing mechanisms inherent to biological neurons. Taking into account the temporal dependence of representations under movie stimuli, we present Time-Series Representational Similarity Analysis (TSRSA) to measure the similarity between model representations and visual cortical representations of mice. LoRaFB-SNet exhibits the highest level of representational similarity, outperforming other well-known and leading alternatives across various experimental paradigms, especially when representing long movie stimuli. We further conduct experiments to quantify how temporal structures (dynamic information) and static textures (static information) of the movie stimuli influence representational similarity, suggesting that our model benefits from long-range feedback to encode context-dependent representations just like the brain. Altogether, LoRaFB-SNet is highly competent in capturing both dynamic and static representations of the mouse visual cortex and contributes to the understanding of movie processing mechanisms of the visual system. Our codes are available at https://github.com/Grasshlw/SNN-Neural-Similarity-Movie.
• Abstract（参考訳）: ディープニューラルネットワーク(Deep Neural Network, DNN)は、生物学的視覚表現を研究するために広く使われているモデルである。 しかし、既存のDNNは、主に静的画像に対する神経反応を解析するために設計されており、フィードフォワード構造に依存し、生理的神経機構を欠いている。 視覚野が、文脈に富む情報を含む自然の映画刺激をどのように表現するかについては、限られた知見がある。 これらの問題に対処するために、脳皮質領域間のトップダウン接続を模倣し、生物学的ニューロンに固有のスパイク情報処理機構を組み込んだ長距離フィードバックスパイクネットワーク(LoRaFB-SNet)を提案する。 映画刺激下での表現の時間的依存を考慮し、モデル表現と視覚皮質表現との類似性を測定するために、時系列表現類似性分析(TSRSA)を提案する。 LoRaFB-SNetは最も高いレベルの表現類似性を示し、特に長い映画の刺激を表現する際に、様々な実験パラダイムにおいて、他のよく知られた主要な選択肢よりも優れている。 さらに,映画刺激の時間的構造(動的情報)と静的テクスチャ(静的情報)が表現の類似性にどのように影響するかを定量化する実験を行った。 また、LoRaFB-SNetは、マウス視覚野の動的および静的表現の両方を捉え、視覚系の画像処理機構の理解に寄与する。 私たちのコードはhttps://github.com/Grasshlw/SNN-Neural-Similarity-Movieで公開しています。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Time-Dependent VAE for Building Latent Representations from Visual Neural Activity with Complex Dynamics [25.454851828755054]
  TiDeSPL-VAEは複雑な視覚神経活動を効果的に分析し、自然な方法で時間的関係をモデル化することができる。 結果から,本モデルは自然主義的なシーン/ムーブメントにおいて最高の復号性能を得るだけでなく,明示的なニューラルダイナミクスを抽出することがわかった。
  論文  参考訳（メタデータ） (2024-08-15T03:27:23Z)
• Aligning Neuronal Coding of Dynamic Visual Scenes with Foundation Vision Models [2.790870674964473]
  自己教師型視覚変換器(ViT)を用いた時空間畳み込みニューラルネットワークVi-STを提案する。 提案したVi-STは,脳内動的視覚シーンのニューロンコーディングのための新しいモデリングフレームワークである。
  論文  参考訳（メタデータ） (2024-07-15T14:06:13Z)
• The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
  動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。 DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
  論文  参考訳（メタデータ） (2024-07-08T06:22:10Z)
• Brain-like representational straightening of natural movies in robust feedforward neural networks [2.8749107965043286]
  表現の直線化(Representational straightening)とは、自然映画から撮影された一連のフレームの視覚的特徴表現の曲率を減少させることである。 入力画像中の雑音に対するロバスト性は、フィードフォワードニューラルネットワークにおいて表現的ストレート化をもたらす。
  論文  参考訳（メタデータ） (2023-08-26T13:04:36Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks [61.60177890353585]
  深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。 ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。 我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
  論文  参考訳（メタデータ） (2022-05-27T08:06:40Z)
• Neural Implicit Representations for Physical Parameter Inference from a Single Video [49.766574469284485]
  本稿では,外見モデルのためのニューラル暗黙表現と,物理現象をモデル化するためのニューラル常微分方程式(ODE)を組み合わせることを提案する。 提案モデルでは,大規模なトレーニングデータセットを必要とする既存のアプローチとは対照的に,単一のビデオから物理的パラメータを識別することが可能になる。 ニューラル暗示表現を使用することで、高解像度ビデオの処理とフォトリアリスティック画像の合成が可能になる。
  論文  参考訳（メタデータ） (2022-04-29T11:55:35Z)
• Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity [33.06823702945747]
  我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。 このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。 我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T16:39:43Z)
• Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
  本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。 私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。 我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
  論文  参考訳（メタデータ） (2020-11-26T01:23:44Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。