論文の概要: Top-down inference in an early visual cortex inspired hierarchical
Variational Autoencoder
- arxiv url: http://arxiv.org/abs/2206.00436v1
- Date: Wed, 1 Jun 2022 12:21:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 16:40:52.173742
- Title: Top-down inference in an early visual cortex inspired hierarchical
Variational Autoencoder
- Title（参考訳）: 初期視覚野における階層的変分オートエンコーダによるトップダウン推論
- Authors: Ferenc Csikor (1), Bal\'azs Mesz\'ena (1), Bence Szab\'o (1),
Gerg\H{o} Orb\'an (1) ((1) Department of Computational Sciences, Wigner
Research Centre for Physics, Budapest, Hungary)
- Abstract要約: 我々は変分オートエンコーダの進歩を利用して、自然画像に基づいて訓練された疎い符号化階層型VAEを用いて、初期視覚野を調査する。
一次および二次視覚皮質に見られるものと類似した表現は、軽度の誘導バイアスの下で自然に現れる。
生成モデルを用いた2つの計算のシグネチャに対して,ニューロサイエンスに着想を得た認識モデルの選択が重要であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Interpreting computations in the visual cortex as learning and inference in a
generative model of the environment has received wide support both in
neuroscience and cognitive science. However, hierarchical computations, a
hallmark of visual cortical processing, has remained impervious for generative
models because of a lack of adequate tools to address it. Here we capitalize on
advances in Variational Autoencoders (VAEs) to investigate the early visual
cortex with sparse coding hierarchical VAEs trained on natural images. We
design alternative architectures that vary both in terms of the generative and
the recognition components of the two latent-layer VAE. We show that
representations similar to the one found in the primary and secondary visual
cortices naturally emerge under mild inductive biases. Importantly, a nonlinear
representation for texture-like patterns is a stable property of the high-level
latent space resistant to the specific architecture of the VAE, reminiscent of
the secondary visual cortex. We show that a neuroscience-inspired choice of the
recognition model, which features a top-down processing component is critical
for two signatures of computations with generative models: learning higher
order moments of the posterior beyond the mean and image inpainting. Patterns
in higher order response statistics provide inspirations for neuroscience to
interpret response correlations and for machine learning to evaluate the
learned representations through more detailed characterization of the
posterior.
- Abstract（参考訳）: 環境生成モデルにおける学習と推論としての視覚野の計算を解釈することは、神経科学と認知科学の両方において広く支持されている。
しかし、視覚皮質処理の目印である階層計算は、それに対応する十分なツールが不足しているため、生成モデルには不必要である。
ここでは,変分オートエンコーダ(vaes)の進歩に乗じて,自然画像で訓練されたスパース符号化階層vaesを用いた初期視覚野の研究を行う。
我々は2つの潜在層VAEの生成成分と認識成分の両面で異なる代替アーキテクチャを設計する。
一次および二次視覚皮質に見られるものと類似した表現は、軽度の誘導バイアスの下で自然に現れる。
重要なことに、テクスチャ様パターンの非線形表現は、二次視覚野を連想させる、VOEの特定の構造に耐性のある高レベルの潜在空間の安定な性質である。
本稿では,トップダウン処理成分を特徴とする認識モデルの神経科学的な選択が,生成モデルを用いた計算の2つのシグネチャに対して重要であることを示す。
高次応答統計のパターンは、神経科学が反応相関を解釈し、機械学習がより詳細な後部の特徴付けを通じて学習された表現を評価するためにインスピレーションを与える。
関連論文リスト
- Clustering Inductive Biases with Unrolled Networks [4.47196217712431]
本稿では,2部グラフのラプラシア二次形式を通してスペクトルクラスタリングを行うために,潜在表現を暗黙的に局所的に整理したオートエンコーダアーキテクチャ(WLSC)を提案する。
我々の正規化は、ある種の刺激のクラスに対する受容野の早期特殊化と解釈できることを示す。
論文 参考訳（メタデータ） (2023-11-30T02:02:30Z) - MindDiffuser: Controlled Image Reconstruction from Human Brain Activity
with Semantic and Structural Diffusion [7.597218661195779]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。
ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。
ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
論文 参考訳（メタデータ） (2023-08-08T13:28:34Z) - Natural scene reconstruction from fMRI signals using generative latent
diffusion [1.90365714903665]
我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。
第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。
第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
論文 参考訳（メタデータ） (2023-03-09T15:24:26Z) - V1T: large-scale mouse V1 response prediction using a Vision Transformer [1.5703073293718952]
動物間における視覚的・行動的表現の共有を学習するビジョントランスフォーマーに基づく新しいアーキテクチャであるV1Tを紹介する。
マウスの一次視覚野から記録された2つの大きなデータセットを用いて、我々のモデルを評価し、予測性能を12.7%以上向上させた。
論文 参考訳（メタデータ） (2023-02-06T18:58:38Z) - Convolutional Neural Generative Coding: Scaling Predictive Coding to
Natural Images [79.07468367923619]
畳み込み型神経生成符号化(Conv-NGC)を開発した。
我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。
本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
論文 参考訳（メタデータ） (2022-11-22T06:42:41Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳（メタデータ） (2022-05-27T08:06:40Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。
2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。
提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
論文 参考訳（メタデータ） (2021-12-23T12:17:47Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Deep Reinforcement Learning Models Predict Visual Responses in the
Brain: A Preliminary Result [1.0323063834827415]
強化学習を用いてニューラルネットワークモデルをトレーニングし、3Dコンピュータゲームをプレイします。
これらの強化学習モデルは、初期視覚領域において、神経応答予測精度のスコアを得る。
対照的に、教師付きニューラルネットワークモデルでは、より高い視覚領域において、より優れた神経応答予測が得られる。
論文 参考訳（メタデータ） (2021-06-18T13:10:06Z) - Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。
生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
論文 参考訳（メタデータ） (2020-07-20T18:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。