論文の概要: More than meets the eye: Self-supervised depth reconstruction from brain
activity
- arxiv url: http://arxiv.org/abs/2106.05113v1
- Date: Wed, 9 Jun 2021 14:46:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 22:43:20.822851
- Title: More than meets the eye: Self-supervised depth reconstruction from brain
activity
- Title（参考訳）: 脳活動からの自己監督深度再構築
- Authors: Guy Gaziv, Michal Irani
- Abstract要約: 観測された2次元自然画像の高密度3次元深度マップは、fMRI脳波記録から直接復元可能であることを示す。
自然画像の未知の深度マップを推定するために,オフ・ザ・シェルフ法を用いる。
推定深度マップは、fMRIから直接深度再構成を訓練するための補助的再構成基準として使用される。
- 参考スコア（独自算出の注目度）: 16.269923100433232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the past few years, significant advancements were made in reconstruction
of observed natural images from fMRI brain recordings using deep-learning
tools. Here, for the first time, we show that dense 3D depth maps of observed
2D natural images can also be recovered directly from fMRI brain recordings. We
use an off-the-shelf method to estimate the unknown depth maps of natural
images. This is applied to both: (i) the small number of images presented to
subjects in an fMRI scanner (images for which we have fMRI recordings -
referred to as "paired" data), and (ii) a very large number of natural images
with no fMRI recordings ("unpaired data"). The estimated depth maps are then
used as an auxiliary reconstruction criterion to train for depth reconstruction
directly from fMRI. We propose two main approaches: Depth-only recovery and
joint image-depth RGBD recovery. Because the number of available "paired"
training data (images with fMRI) is small, we enrich the training data via
self-supervised cycle-consistent training on many "unpaired" data (natural
images & depth maps without fMRI). This is achieved using our newly defined and
trained Depth-based Perceptual Similarity metric as a reconstruction criterion.
We show that predicting the depth map directly from fMRI outperforms its
indirect sequential recovery from the reconstructed images. We further show
that activations from early cortical visual areas dominate our depth
reconstruction results, and propose means to characterize fMRI voxels by their
degree of depth-information tuning. This work adds an important layer of
decoded information, extending the current envelope of visual brain decoding
capabilities.
- Abstract（参考訳）: 過去数年間、深層学習ツールを用いたfMRI脳波記録から観察された自然画像の再構成において、顕著な進歩が見られた。
ここでは初めて、観測された2次元自然画像の高密度3次元深度マップがfMRI脳波記録から直接復元可能であることを示す。
自然画像の未知深度マップを推定するために,オフザシェルフ法を用いる。
これは、(i)fMRIスキャナー(fMRI記録を"ペアドデータ"として参照する画像)で被験者に提示される少数の画像と、(ii)fMRI記録のない非常に多数の自然画像("アンペアドデータ")の両方に適用される。
推定深度マップは、fMRIから直接深度再構成を訓練するための補助的再構成基準として使用される。
本稿では,奥行きのみの回復と共同画像深度RGBD回復の2つのアプローチを提案する。
利用可能な「ペア化」トレーニングデータ(fMRIのイメージ)の数は少ないため、多くの「ペア化」データ(fMRIのない自然画像と深度マップ)の自己教師付きサイクル一貫性トレーニングを通じて、トレーニングデータを充実させる。
これは、新たに定義され、訓練されたDepthベースの知覚的類似度尺度を再構築基準として用いる。
fMRIから直接の深度マップの予測は、再構成画像からの間接的回復よりも優れていることを示す。
さらに, 早期大脳皮質視覚野からの活性化が深度再構成の結果を支配することを示し, 深度情報チューニングの度合いでfMRIボクセルを特徴付ける方法を提案する。
この作業は、デコードされた情報の重要な層を追加し、現在の視覚脳デコード能力のエンベロープを拡張する。
関連論文リスト
- Volumetric Reconstruction Resolves Off-Resonance Artifacts in Static and
Dynamic PROPELLER MRI [76.60362295758596]
磁気共鳴イメージング(MRI)におけるオフ共鳴アーティファクトは、画像ボリューム内のスピンの実際の共鳴周波数が空間情報を符号化するのに使用される期待周波数と異なる場合に発生する視覚歪みである。
本稿では,2次元MRI再構成問題を3次元に引き上げ,このオフ共鳴をモデル化するための「スペクトル」次元を導入することで,これらのアーチファクトを解決することを提案する。
論文 参考訳（メタデータ） (2023-11-22T05:44:51Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - CMRxRecon: An open cardiac MRI dataset for the competition of
accelerated image reconstruction [62.61209705638161]
ディープラーニングベースのCMRイメージングアルゴリズムへの関心が高まっている。
ディープラーニング手法は大規模なトレーニングデータセットを必要とする。
このデータセットには300人の被験者のマルチコントラスト、マルチビュー、マルチスライス、マルチコイルCMRイメージングデータが含まれている。
論文 参考訳（メタデータ） (2023-09-19T15:14:42Z) - A plug-and-play synthetic data deep learning for undersampled magnetic
resonance image reconstruction [15.780203168452443]
アンダーサンプ型MRI画像再構成の深層学習法は,画像デアライジングにおいて優れた性能を示した。
異なるサンプリング設定に効果的に適用可能なアンダーサンプドMRI再構成のための深いプラグアンドプレイ法を提案する。
論文 参考訳（メタデータ） (2023-09-13T02:37:19Z) - Live image-based neurosurgical guidance and roadmap generation using
unsupervised embedding [53.992124594124896]
本稿では,注釈付き脳外科ビデオの大規模なデータセットを活用するライブ画像のみのガイダンスを提案する。
生成されたロードマップは、トレーニングセットの手術で取られた一般的な解剖学的パスをエンコードする。
166例の腹腔鏡下腺摘出術を施行し,本法の有効性について検討した。
論文 参考訳（メタデータ） (2023-03-31T12:52:24Z) - Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。
単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。
脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
論文 参考訳（メタデータ） (2022-09-30T06:32:46Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-19T09:43:19Z) - Facial Image Reconstruction from Functional Magnetic Resonance Imaging
via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。
提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
論文 参考訳（メタデータ） (2022-07-03T11:18:35Z) - Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
画像再構成に有効な先行画像として, 奥行き画像が導入された。
その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。
計算課題に対処する2段階の学習パラダイムを開発する。
論文 参考訳（メタデータ） (2021-11-23T15:08:26Z) - Natural Image Reconstruction from fMRI using Deep Learning: A Survey [5.821090056678976]
我々は、fMRIによる自然画像再構成のための最新のディープラーニング手法について調査する。
本稿では,これらの手法をアーキテクチャ設計,ベンチマークデータセット,評価指標の観点から検討する。
本稿では,既存研究の強みと限界,今後の方向性について論じる。
論文 参考訳（メタデータ） (2021-10-18T04:05:29Z) - Deep Parallel MRI Reconstruction Network Without Coil Sensitivities [4.559089047554929]
並列MRI(pMRI)における高速画像再構成のための頑健な近位勾配スキームをデータからトレーニングした正規化関数にマッピングすることにより,新しいディープニューラルネットワークアーキテクチャを提案する。
提案するネットワークは,不完全なpMRIデータからのマルチコイル画像と均一なコントラストとを適応的に組み合わせることを学び,非線形エンコーダに渡されて画像のスパース特徴を効率的に抽出する。
論文 参考訳（メタデータ） (2020-08-04T08:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。