論文の概要: The Brain-Inspired Decoder for Natural Visual Image Reconstruction

• arxiv url: http://arxiv.org/abs/2207.08591v1
• Date: Mon, 18 Jul 2022 13:31:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 15:18:10.364389
• Title: The Brain-Inspired Decoder for Natural Visual Image Reconstruction
• Title（参考訳）: 自然画像再構成のための脳誘発デコーダ
• Authors: Wenyi Li, Shengjie Zheng, Yufan Liao, Rongqi Hong, Weiliang Chen, Chenggnag He, Xiaojian Li
• Abstract要約: 本研究では,スパイクトレインの視覚的イメージを再構築するために,生物学的特性を持つディープラーニングニューラルネットワークアーキテクチャを提案する。 私たちのモデルは、ニューラルスパイクトから画像へのエンドツーエンドデコーダです。 提案手法は,画像の再構成に知覚的特徴を効果的に組み合わせることができることを示す。
• 参考スコア（独自算出の注目度）: 4.433315630787158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding images from brain activity has been a challenge. Owing to the development of deep learning, there are available tools to solve this problem. The decoded image, which aims to map neural spike trains to low-level visual features and high-level semantic information space. Recently, there are a few studies of decoding from spike trains, however, these studies pay less attention to the foundations of neuroscience and there are few studies that merged receptive field into visual image reconstruction. In this paper, we propose a deep learning neural network architecture with biological properties to reconstruct visual image from spike trains. As far as we know, we implemented a method that integrated receptive field property matrix into loss function at the first time. Our model is an end-to-end decoder from neural spike trains to images. We not only merged Gabor filter into auto-encoder which used to generate images but also proposed a loss function with receptive field properties. We evaluated our decoder on two datasets which contain macaque primary visual cortex neural spikes and salamander retina ganglion cells (RGCs) spikes. Our results show that our method can effectively combine receptive field features to reconstruct images, providing a new approach to visual reconstruction based on neural information.
• Abstract（参考訳）: 脳の活動から画像をデコードすることは困難である。 ディープラーニングの開発により、この問題を解決するツールが利用可能である。 デコードされた画像は、神経スパイクのトレインを低レベルの視覚特徴と高レベルのセマンティック情報空間にマッピングすることを目的としている。 近年、スパイク列車からの復号化の研究がいくつかあるが、これらの研究は神経科学の基礎にはあまり関心を持たず、受容野を視覚画像再構成に融合させる研究はほとんどない。 本稿では,スパイク列から視覚画像を再構成するための生物学的特性を有するディープラーニングニューラルネットワークアーキテクチャを提案する。 我々の知る限り、我々は初めて受容的場特性行列を損失関数に統合する手法を実装した。 私たちのモデルは、ニューラルスパイクトから画像へのエンドツーエンドデコーダです。 我々はgaborフィルタを画像生成に用いたオートエンコーダにマージするだけでなく,受容磁場特性を持つ損失関数を提案した。 このデコーダをマカク初代視覚野神経スパイクとサルマンデル網膜神経節細胞(RGC)スパイクを含む2つのデータセットで評価した。 提案手法は,画像の再構成に知覚的特徴を効果的に組み合わせ,ニューラル情報に基づく視覚的再構成への新たなアプローチを提供する。

関連論文リスト

• Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
  オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。 最初はFlyTracingという名前のデータセットを構築しました。 本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-05T19:45:12Z)
• Improving visual image reconstruction from human brain activity using latent diffusion models via multiple decoded inputs [2.4366811507669124]
  深層学習と神経科学の統合は、脳活動の分析の改善につながった。 人間の脳活動による視覚体験の再構築は、特に恩恵を受けている分野である。 様々な復号化技術が視覚体験再構成の性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-06-20T13:48:02Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Neural Photofit: Gaze-based Mental Image Reconstruction [25.67771238116104]
  我々は、人間の固定を利用して、人が考えている画像を視覚的にフォトフィット(顔複合体)にデコードする新しい方法を提案する。 提案手法は,3つのニューラルネットワーク – エンコーダ,スコアリングネットワーク,デコーダ – を組み合わせる。 本手法は平均ベースライン予測器を著しく上回り,視覚的に可視であり,観察者の心像に近いフォトフィットを復号できることを示す。
  論文  参考訳（メタデータ） (2021-08-17T09:11:32Z)
• Controlled Caption Generation for Images Through Adversarial Attacks [85.66266989600572]
  画像特徴抽出には畳み込みニューラルネットワーク(CNN)、キャプション生成にはリカレントニューラルネットワーク(RNN)が使用される。 特に、その後の再帰的ネットワークに供給される視覚エンコーダの隠蔽層に対する攻撃について検討する。 本稿では、CNNの内部表現を模倣したニューラルネットワークキャプションの逆例を作成するためのGANベースのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-07T07:22:41Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。