論文の概要、ライセンス

# (参考訳) 脳活動からの自己監督深度再構築 [全文訳有]

More than meets the eye: Self-supervised depth reconstruction from brain activity ( http://arxiv.org/abs/2106.05113v1 )

ライセンス: CC BY 4.0
Guy Gaziv, Michal Irani(参考訳) 過去数年間、深層学習ツールを用いたfMRI脳波記録から観察された自然画像の再構成において、顕著な進歩が見られた。 ここでは初めて、観測された2次元自然画像の高密度3次元深度マップがfMRI脳波記録から直接復元可能であることを示す。 自然画像の未知深度マップを推定するために,オフザシェルフ法を用いる。 これは、(i)fMRIスキャナー(fMRI記録を"ペアドデータ"として参照する画像)で被験者に提示される少数の画像と、(ii)fMRI記録のない非常に多数の自然画像("アンペアドデータ")の両方に適用される。 推定深度マップは、fMRIから直接深度再構成を訓練するための補助的再構成基準として使用される。 本稿では,奥行きのみの回復と共同画像深度RGBD回復の2つのアプローチを提案する。 利用可能な「ペア化」トレーニングデータ(fMRIのイメージ)の数は少ないため、多くの「ペア化」データ(fMRIのない自然画像と深度マップ)の自己教師付きサイクル一貫性トレーニングを通じて、トレーニングデータを充実させる。 これは、新たに定義され、訓練されたDepthベースの知覚的類似度尺度を再構築基準として用いる。 fMRIから直接の深度マップの予測は、再構成画像からの間接的回復よりも優れていることを示す。 さらに, 早期大脳皮質視覚野からの活性化が深度再構成の結果を支配することを示し, 深度情報チューニングの度合いでfMRIボクセルを特徴付ける方法を提案する。 この作業は、デコードされた情報の重要な層を追加し、現在の視覚脳デコード能力のエンベロープを拡張する。

In the past few years, significant advancements were made in reconstruction of observed natural images from fMRI brain recordings using deep-learning tools. Here, for the first time, we show that dense 3D depth maps of observed 2D natural images can also be recovered directly from fMRI brain recordings. We use an off-the-shelf method to estimate the unknown depth maps of natural images. This is applied to both: (i) the small number of images presented to subjects in an fMRI scanner (images for which we have fMRI recordings - referred to as "paired" data), and (ii) a very large number of natural images with no fMRI recordings ("unpaired data"). The estimated depth maps are then used as an auxiliary reconstruction criterion to train for depth reconstruction directly from fMRI. We propose two main approaches: Depth-only recovery and joint image-depth RGBD recovery. Because the number of available "paired" training data (images with fMRI) is small, we enrich the training data via self-supervised cycle-consistent training on many "unpaired" data (natural images & depth maps without fMRI). This is achieved using our newly defined and trained Depth-based Perceptual Similarity metric as a reconstruction criterion. We show that predicting the depth map directly from fMRI outperforms its indirect sequential recovery from the reconstructed images. We further show that activations from early cortical visual areas dominate our depth reconstruction results, and propose means to characterize fMRI voxels by their degree of depth-information tuning. This work adds an important layer of decoded information, extending the current envelope of visual brain decoding capabilities.
公開日: Wed, 9 Jun 2021 14:46:09 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
More than meets the eye: Self-supervised depth 目を見渡す以上のもの:自己監督深度 0.70
reconstruction from brain activity Guy Gaziv 脳活動からの再構築 ガイ・ガジフ 0.62
Michal Irani Dept. ミカル・イラン デット 0.42
of Computer Science and Applied Math 計算機科学と応用数学の分野 0.76
The Weizmann Institute of Science ヴァイツマン科学研究所 0.52
1 2 0 2 n u J 1 2 0 2 n u J 0.85
9 ] V C . 9 ] 略称はC。 0.73
s c [ 1 v 3 1 1 5 0 sc [ 1 v 3 1 1 5 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Abstract In the past few years, significant advancements were made in reconstruction of observed natural images from fMRI brain recordings using deep-learning tools. 概要 過去数年間、深層学習ツールを用いたfMRI脳波記録から観察された自然画像の再構成において、顕著な進歩が見られた。 0.55
Here, for the first time, we show that dense 3D depth maps of observed 2D natural images can also be recovered directly from fMRI brain recordings. ここでは初めて、観測された2次元自然画像の高密度3次元深度マップがfMRI脳波記録から直接復元可能であることを示す。 0.82
We use an off-the-shelf method to estimate the unknown depth maps of natural images. 自然画像の未知深度マップを推定するために,オフザシェルフ法を用いる。 0.75
This is applied to both: (i) the small number of images presented to subjects in an fMRI scanner (images for which we have fMRI recordings – referred to as “paired” data), and (ii) a very large number of natural images with no fMRI recordings (“unpaired data”). i)fMRIスキャナーで被験者に提示される画像の少ない数(fMRI記録があるイメージ(「ペアドデータ」と呼ばれる)と、(ii)fMRI記録のない非常に多くの自然画像(「ペアドデータ」)の両方に適用される。
訳抜け防止モード: これは両方に適用される: (i) fMRIスキャナーで被験者に提示される少数の画像(画像) fMRI記録があります 「ペア化されたデータ」と呼ばれます ) と (ii ) は fMRI 記録のない非常に多くの自然画像 (未ペアデータ) である。
0.81
The estimated depth maps are then used as an auxiliary reconstruction criterion to train for depth reconstruction directly from fMRI. 推定深度マップは、fMRIから直接深度再構成を訓練するための補助的再構成基準として使用される。 0.73
We propose two main approaches: Depth-only recovery and joint image-depth RGBD recovery. 本稿では,奥行きのみの回復と共同画像深度RGBD回復の2つのアプローチを提案する。 0.49
Because the number of available “paired” training data (images with fMRI) is small, we enrich the training data via self-supervised cycle-consistent training on many “unpaired” data (natural images & depth maps without fMRI). 利用可能な“ペア化”トレーニングデータ(fMRIを用いたイメージ)の数は少ないので、多くの“ペア化”データ(fMRIのない自然画像と深度マップ)の自己教師付きサイクル一貫性トレーニングを通じて、トレーニングデータを充実させます。 0.67
This is achieved using our newly defined and trained Depth-based Perceptual Similarity metric as a reconstruction criterion. これは、新たに定義され、訓練されたDepthベースの知覚的類似度尺度を再構築基準として用いる。 0.48
We show that predicting the depth map directly from fMRI outperforms its indirect sequential recovery from the reconstructed images. fMRIから直接の深度マップの予測は、再構成画像からの間接的回復よりも優れていることを示す。 0.69
We further show that activations from early cortical visual areas dominate our depth reconstruction results, and propose means to characterize fMRI voxels by their degree of depth-information tuning. さらに, 早期大脳皮質視覚野からの活性化が深度再構成の結果を支配することを示し, 深度情報チューニングの度合いでfMRIボクセルを特徴付ける方法を提案する。 0.69
This work adds an important layer of decoded information, extending the current envelope of visual brain decoding capabilities. この作業は、デコードされた情報の重要な層を追加し、現在の視覚脳デコード能力のエンベロープを拡張する。 0.63
1 Introduction Decoding observed visual scene information from brain activity may form the basis for brain-machine interfaces and for understanding visual processing in the brain (Fig 1). 1 はじめに 脳活動から観察された視覚シーン情報を復号することで、脳と機械のインタフェースの基礎を形成し、脳内の視覚処理を理解する(図1)。
訳抜け防止モード: 1 はじめに 脳活動からの視覚シーン情報の復号化 脳の基礎となるかもしれない - マシンインターフェースと 脳内の視覚処理を理解する(図1)。
0.74
A classic challenge in this domain is reconstructing seen natural images from their recorded fMRI1 brain activity [1–4]. この領域の古典的な課題は、記録されたfMRI1脳活動からの自然画像の再構成である。 0.70
To learn such mappings, fMRI datasets provide pairs of images and their corresponding fMRI responses, referred to here as “paired” data. このようなマッピングを学習するために、fMRIデータセットは、ペアの画像とそれに対応するfMRI応答を提供する。 0.73
The goal in that challenge is to learn fMRI-to-image decoding which generalizes well to image reconstruction from novel “test-fMRIs” induced by novel images. この課題のゴールは、新しい画像によって誘導される新しい「テストfMRI」から画像再構成を一般化するfMRI-to-imageデコーディングを学ぶことである。 0.62
However visual scene understanding goes well beyond the RGB bitmap which represents it. しかし、視覚的なシーン理解はRGBビットマップをはるかに超えている。 0.75
An important complementary cue to natural-image understanding is inferring depth relations within it [5]. 自然画像理解への重要な補完的手がかりは、[5]内の深さ関係を推測することである。 0.62
Humans perform well on monocular depth estimation by exploiting cues such as perspective, scaling relative to the known size of familiar objects, shading and occlusion [6]. 人間は遠近法、既知の物体の大きさに対するスケール、陰影、咬合といった手がかりを利用して単眼深度の推定をうまく行う [6]。 0.73
Furthermore, previous studies found evidence for depth cue encoding and integration in the human visual cortex [7, 8]. さらに,ヒト視覚野 [7, 8] における深度cueエンコーディングと統合の証拠も発見されている。 0.81
In this paper propose a new challenge, which goes beyond the traditional fMRI-to-image reconstruction task: Given an fMRI recording of an observed scene (a 2D image), reconstruct its underlying 本稿では,従来のfMRI-画像再構成作業を超えて,観察シーン(2次元画像)のfMRI記録を行い,その基盤を再構築する新しい課題を提案する。 0.84
1functional magnetic resonance imaging. 1 機能的磁気共鳴イメージング 0.86
Preprint. Under review. プレプリント。 レビュー中。 0.63
英語(論文から抽出)日本語訳スコア
Figure 1: The task: reconstructing dense depth maps (D) from fMRI brain recordings. 図1: タスク: fmriの脳記録から深い深度マップ(d)を再構築する。 0.80
dense 3D depth map (D) directly from fMRI. fMRIから直接高密度3次元深度マップ(D)。 0.87
This can be done in addition to (or without) recovering the observed RGB image. これは観測されたRGBイメージの復元に加えて、(または無しで)行うことができる。 0.68
Adding this additional layer of depth information to the fMRI decoding problem has two potential implications: (i) It paves the way to reconstructing new types of inferred dense information about a scene that is not explicitly presented to the subject, and (ii) it provides auxiliary criteria to guide and train image-reconstruction networks, which complements existing reconstruction criteria based purely on RGB data. fMRI復号問題にこの追加の深度情報を追加することは、2つの潜在的意味を持つ: (i) 対象に明示的に提示されていないシーンに関する新しいタイプの推論された高密度な情報を再構成する方法を舗装し、 (ii) RGBデータに基づく既存の復元基準を補完する画像再構成ネットワークをガイドし訓練するための補助的基準を提供する。 0.80
Prior work on image reconstruction from fMRI. fMRIによる画像再構成に関する研究 0.72
fMRI-to-Image reconstruction methods can broadly be classified into three main categories: (i) Linear regression between fMRI data and handcrafted image-features (e g , Gabor wavelets) [9, 4, 10], (ii) Linear regression between fMRI data and pre-trained deep image-features – e g , features of pretrained AlexNet [11–14], or latent spaces of pretrained generative models [15–18], and (iii) End-to-end Deep Learning [19–24]. fMRI-to-画像再構成法は, fMRIデータと手作り画像特徴(例えば, Gaborウェーブレット) [9, 4, 10], (ii) fMRIデータと事前訓練された深部画像特徴(例えば,事前訓練されたAlexNet [11–14]),事前学習された生成モデルの潜在空間 [15–18], (iii) エンドツーエンドディープラーニング [19–24] の3つのカテゴリに分類される。 0.84
Most of these methods inherently rely on “paired” data to train their decoder (pairs of images and their corresponding fMRI responses). これらの手法の多くは本質的に、デコーダ(画像のペアとその対応するfMRI応答)をトレーニングする“ペア化”データに依存しています。 0.66
In the typical case, when only a small number of such pairs are available, purely supervised models are prone to overfitting. 典型的な場合、そのようなペアがごく少数の場合、純粋な教師付きモデルは過度に適合する傾向にある。 0.58
This leads to poor generalization to new test-data (fMRI response evoked by new images). これにより、新しいテストデータ(新しい画像によって誘発されるfMRI応答)への一般化が不十分になる。 0.57
Recently, [23, 24] proposed to cope with the limited “paired” training examples by adding self-supervision on additional “unpaired” natural images (images with no fMRI recording). 最近, [23, 24] は,fMRI記録のない自然画像に自己監督を加えることで, 限られた「ペア化」訓練例に対処することを提案した。 0.73
This led to state-of-the-art results in image-reconstruction . これは、画像再構成の最先端の結果につながった。 0.40
However, all the above methods focused on reconstructing only images and semantic features, glossing over other important visual perception cues, such as scene depth. しかし、上記の手法はすべて、画像と意味的特徴のみを再構築することに集中し、シーンの奥行きなど、他の重要な視覚知覚の手がかりを光沢づけた。
訳抜け防止モード: しかし 上記の方法は全て 画像と意味的な特徴のみを再構築し、シーンの奥行きのような他の重要な視覚知覚手がかりを光沢づける。
0.76
This is the focus of the current paper. これが現在の論文の焦点である。 0.71
We present a new approach that generalizes the self-supervised approach of [23, 24] to accommodate for recovery of dense depth maps directly from fMRI. 本研究では, [23, 24] の自己教師付きアプローチを一般化し, fmri から直接深部深部マップを復元する手法を提案する。 0.73
Our approach is illustrated in Fig 2: • We first estimate the depth maps of natural images using an off-the-shelf pretrained network (“MiDaS” [25]) for monocular depth estimation (Fig 2a). 図2: • モノクロ深度推定(図2a)のために、市販の事前学習ネットワーク("midas" [25])を用いて、自然画像の深さマップを最初に推定する。
訳抜け防止モード: 私たちのアプローチは図2に示されています。 まず,単眼深度推定のためのoff-the-shelf pretrained network (“ midas ” [ 25 ])を用いて,自然画像の深さマップを推定した。
0.78
This is applied both to the scarce “paired” images in the fMRI dataset, as well as to many more “unpaired” natural images from ImageNet. これはfMRIデータセットの少ない“ペア化”イメージだけでなく、ImageNetの“ペア化”された自然画像にも適用される。 0.71
This step provides us with surrogate “ground-truth”Depth information, which can either be used on its own for training our network, or can be combined with the source image to provide new RGBD “ground-truth” data for training. このステップは,ネットワークのトレーニングに独自に使用できるか,あるいはソースイメージと組み合わせることで,新たなrgbd “ground-truth” データをトレーニングに提供するための,サロゲートな“ground-truth” 詳細な情報を提供します。 0.83
• We then train two types of deep networks: (i) an Encoder Enc, that encodes depth-based information (either Depth alone, or RGBD data) into their corresponding fMRI responses (Fig 2c), and (ii) a Decoder Dec, that decodes fMRI recordings to their corresponding depth-based information (Fig 2d1). 次に、2種類の深層ネットワークを訓練する: (i) 深さベースの情報(深さのみ、またはrgbdデータ)を対応するfmri応答(図2c)にエンコードするエンコーダenc、(ii) 深さに基づく情報にfmri記録をデコードするデコーダdec(図2d1)。 0.78
Concatenating those two networks back-to-back, Enc-Dec, yields a combined network whose input and output are the same depth-based information (Fig. これら2つのネットワークを結合したenc-decは、入力と出力が同じ深さベース情報(fig)である結合ネットワークを生成する。 0.65
2c2). This allows for unsupervised training on unpaired data (i.e., Depth maps or RGBD data without fMRI recordings, e g , obtained from 50,000 randomly sampled natural images from ImageNet in our experiments). 2c2)。 これにより、教師なしのデータ(例えば、実験でImageNetから5万個のランダムにサンプリングされた自然画像から得られたfMRI記録のない深度マップやRGBDデータ)の教師なしトレーニングが可能になる。 0.65
Such self-supervision adapts the network to the statistics of never-before-seen depth-based data. このような自己スーパービジョンは、ネットワークを、かつてない深さに基づくデータの統計に適応させる。 0.45
• The loss enforced on the reconstructed depth-based information employs a special Depth-based Perceptual Similarity, which we also present in this paper (Fig 2b). • 再構成された奥行きに基づく情報に強制される損失は,特殊な奥行きに基づく知覚的類似性を用いており,本稿でも紹介する(図2b)。
訳抜け防止モード: • 再建された深度-情報に基づく損失は、特殊深度-知覚的類似性に基づく。 本論文にも記載している(図2b)。
0.73
This encourages our reconstructed depth maps to be perceptually meaningful. これにより、再構成された深度マップが知覚的に意味を持つようになる。 0.44
Fig 3 shows image & depth reconstructions using our RGBD-based approach. 図3は、RGBDベースのアプローチによる画像と深度再構成を示す。 0.56
These results demonstrate a new capability of dense Depth recovery directly from fMRI (in addition to RGB image reconstruction). これらの結果から,fMRIから直接深度を回復する新たな能力(RGB画像再構成に加えて)が示された。 0.75
We show that training our networks on Depth-only data or on RGBD data provide comparable quality of depth-map reconstructions from fMRI (Fig 4bc). ネットワークを深度のみのデータやRGBDデータでトレーニングすることで、fMRI(図4bc)からの深度マップ再構成に匹敵する品質が得られることを示す。 0.65
We further show that depth reconstructions directly from fMRI provide significantly better results than indirect depth estimation applied (after the fact) to purely reconstructed RGB-images. さらに、fMRIから直接の深度再構成は、純粋な再構成RGB画像に適用された間接深度推定よりも、はるかに優れた結果をもたらすことを示す。 0.70
Lastly, training our networks on the combined RGBD data further allows us to explore whether there are fMRI voxels more tuned to depth information, versus voxels more tuned to RGB information. 最後に、組み合わせたrgbdデータでネットワークをトレーニングすることで、深層情報にチューニングされたfmriボクセルと、rgb情報にチューニングされたボクセルがあるかどうかをさらに調査することができます。 0.56
These experiments are discussed in Sec. これらの実験はsecで議論されている。 0.50
4. 2 (" .»¼ ! ·/*· +/#» (" ¼ * -!  *)./0-/  +/#(+.»¼ (" .»¼ 4. 2 (" .»¼ ! ·/*· +/#» (" ¼ * -!  *)./0-/  +/#(+.»¼ (" .»¼ 0.85
英語(論文から抽出)日本語訳スコア
Figure 2: Our proposed method. (a) Predicting depth maps for all ground truth images (RGB) using a pretrained network (“MiDaS” [25]). 図2:提案手法。 (a)事前学習したネットワーク(「MiDaS」 [25])を用いて、全地真実画像(RGB)の深度マップの予測を行う。 0.73
This includes the images in the paired fMRI dataset and those in the external dataset of unpaired natural images. これには、ペア化されたfMRIデータセットのイメージと、未ペアの自然画像の外部データセットのイメージが含まれる。 0.63
(b) Learning depth perceptual features. (b)学習深度知覚の特徴。 0.80
We train two VGG-based networks for ImageNet object recognition for either input type, RGBD or Depth-only. 入力型, RGBD または Depth のみを対象とした ImageNet オブジェクト認識のための2つの VGG ベースのネットワークを訓練する。 0.63
These networks give rise to new types of perceptual metrics for Decoder training and provide the Encoder backbone. これらのネットワークは、デコーダトレーニングのための新しいタイプの知覚指標を生み出し、エンコーダバックボーンを提供する。 0.74
(c) Phase I: Supervised training of the Encoder with “paired” training data. (c)第1フェーズ:"ペア化"トレーニングデータによるエンコーダのトレーニングを監督する。 0.80
(d) Phase II: Training the Decoder with two types of data simultaneously: (d1) The “paired” training data (supervised examples), and (d2) “unpaired” natural images with their depth maps (self-supervision). (d)位相II:デコーダを同時に2種類のデータで訓練する: (d1)「ペア化」訓練データ(教師付き例)と(d2)「ペア化」自然画像と深度マップ(セルフスーパービジョン)。 0.84
The pretrained Encoder from phase I is kept fixed in phase II. フェーズIからの事前訓練エンコーダはフェーズIIで固定される。 0.72
Our contributions are therefore several-fold: • The first method to reconstruct dense 3D depth information from brain activity. • 脳の活動から密度の高い3d深度情報を再構築する最初の方法です。 0.71
• A self-supervised approach for reconstructing depth-based information (Depth-only or RGBD) directly from fMRI recordings, despite having only scarce fMRI training data. 1)fMRIトレーニングデータが少ないにもかかわらず,fMRI記録から直接深度情報(深度のみまたはRGBD)を再構成するための自己教師型アプローチ。 0.67
• A Depth-based Perceptual Similarity measure, based on specially trained perceptual depth features. •特殊訓練された知覚深度特徴に基づく深度に基づく知覚類似度尺度。 0.79
• Characterize brain-voxels by their degree of depth-sensitivity via a novel depth-sensitivity measure. •新しい深度感度尺度を用いて深度感度の度合いで脳の振動を特徴付ける。 0.69
2 Overview of the approach Our goal is to reconstruct dense depth 3D information from fMRI data of observed 2D color images. 2 アプローチの概要 観測された2次元カラー画像のfMRIデータから深度3D情報を再構成すること。 0.81
For that purpose we explored three main approaches: (i) Decoding depth-only information directly from fMRI; (ii) Simultaneous decoding of images+depth information (RGBD) directly from fMRI; (iii) Indirect depth reconstruction computed (after the fact) from RGB images which were reconstructed from fMRI. i) fMRIから直接深度のみの情報をデコードすること, (ii) fMRIから直接深度情報(RGBD)を同時復号すること, (iii) fMRIから再構成したRGB画像から間接深度再構成を計算すること,の3つの主要なアプローチを検討した。 0.90
Our experimental results show (see Sec. 実験の結果は明らかでした(sec参照)。 0.57
4) that reconstructing depth directly from fMRI (approaches (i) & (ii)) are significantly superior to sequential indirect depth reconstruction (approach (iii)). 4) fMRI (approaches (i) & (ii)) から直接深度を再構成することは, 逐次間接深度再構成 (approach (iii)) よりも有意に優れている。 0.82
Fig 2 shows our proposed framework for direct depth reconstruction from fMRI. 図2はfMRIからの直接深度再構成のための枠組みを示す。 0.78
It consists of three main components: 1. 主な構成要素は3つある。 0.56
Generating surrogate depth data (Fig 2a). 代理深度データを生成する(図2a)。 0.72
Our training of a depth decoder requires the underlying ground-truth depth maps of natural images. 深度デコーダの訓練には,地下の地中深度マップが必要である。 0.60
To obtain these data we generate depth maps by feedingforward the natural images through an off-the-shelf monocular depth estimation method for natural images, called MiDaS [25]. これらのデータを得るために,MiDaS[25]と呼ばれる自然画像の既製の単眼深度推定手法を用いて,自然画像を前方へ送り込んで深度マップを生成する。 0.74
We then use these maps as our surrogate “ground-truth” depth data. 次に、これらのマップを「地下の真実」の深度データとして使用します。 0.55
We estimated the depth maps of all 1250 images of ‘fMRI on ImageNet’ [26], and all those of ImageNet classification challenge (ILSVRC) [27]. 画像ネット上のfMRIの1250画像の深さマップ [26] と画像ネット分類チャレンジ (ILSVRC) [27] の深さマップを推定した。 0.69
These depth-maps are then used in the following steps. これらの深度マップは以下のステップで使用される。 0.70
2. Learning semantically-meaning ful depth features for depth-based perceptual similarity (Fig 2b). 2. 深度に基づく知覚的類似性(図2b)に対する意味論的に有意な深度特徴の学習。 0.70
Our trained Decoder (fMRI (cid:55)→ Depth, or fMRI (cid:55)→ RGBD) requires a similarity score/loss on the トレーニングされたデコーダ(fMRI (cid:55)→深さ、またはfMRI (cid:55)→RGBD)は、類似度スコア/ロスを必要とする。 0.61
3 »¼»¼ ). 3 »¼»¼ ). 0.90
'!·.0+ -1$. '!·.0+ -1$. 0.97
/-$)$)"*)¯0)+$- °$(" . +/#(+.- /-$)  +/# ./$(/$*)) /2*-&»$¼»…¼»„¼ - +/0' *.. ) ) -/$)".0--*"/  +/#(+.»¼ -)$)") 2+ - +/0'! /-$)$)"*)¯0)+$- °$(" . +/#(+.- /-$)  +/# ./$(/$*)) /2*-&»$¼»…¼»„¼ - +/0' *.. ) ) -/$)".0--*"/  +/#(+.»¼ -)$)") 2+ - +/0'! 0.97
/0- .! *-»$¼/¤»$$¼ +/#·*)'4/»¼)* -/-$)$)"»+#. /0- .! *-»$¼/¤»$$¼ +/#·*)'4/»¼)* -/-$)$)"»+#. 0.74
 ¼/-$)$)"*).  ¼/-$)$)"*). 0.42
- +$- //-$)$)"*). - +$- //-$)$)"*). 0.48
- +$- /4' ·*).$./ )4/-$)$)"*)()40)+$- /»¼ * -/-$)$)"»+#. - +$- /4' ·*).$./ )4/-$)$)"*)()40)+$- /»¼ * -/-$)$)"»+#. 0.63
 ¼0+ -1$.  ¼0+ -1$. 0.75
0+ -1$.  '!·.0+ -1$. 0+ -1$.  '!·.0+ -1$. 0.85
$)+0/»$¼·) / +/#·*)'4·) /'..' ''..' '»$$¼ +/#·*)'4$)+0/-$)·. ) $)+0/»$¼·) / +/#·*)'4·) /'..' ''..' '»$$¼ +/#·*)'4$)+0/-$)·. ) 0.78
/2*-&*) ("  /œ!$3 2 $"#/. /2*-&*) ("  /œ!$3 2 $"#/. 0.68
英語(論文から抽出)日本語訳スコア
Figure 3: Image & Depth (RGBD) reconstruction results. 図3:画像と深度(RGBD)再構築結果。 0.77
(Left column): Depth maps reconstruction results side-by-side their estimated ground-truth from the original RGB images. (左欄):元のRGB画像から推定した地勢を並べて再現する。 0.62
(Right column): Image (RGB) reconstruction results side-by-side the ground-truth images presented to the human. (Right column):画像(RGB)復元結果が、人間に提示された地味な画像を並べて表示される。 0.64
We show results of test cohort of fMRI on ImageNet [26]. ImageNet [26] 上でfMRIのテストコホートの結果を示す。 0.71
4  +/# *)./-0/$*)./$(/  +/#!-*("-*0)·/-0/#$(" . +/#- *1 - !-*(! "-*0)·/-0/#$(" . 4  +/# *)./-0/$*)./$(/  +/#!-*("-*0)·/-0/#$(" . +/#- *1 - !-*(! "-*0)·/-0/#$(" . 0.85
(" - *)./-0/ !-*(! (" - *)./-0/ !-*(! 0.68
(" »¼- *)./-0/$*) (" »¼- *)./-0/$*) 0.98
英語(論文から抽出)日本語訳スコア
reconstructed depth maps. Perceptual Similarity [28] has been shown to be a powerful metric for many image reconstruction tasks. 深度マップの再構築 知覚類似度[28]は多くの画像再構成作業において強力な指標であることが示されている。 0.72
However, that metric was developed for images only. しかし、このメトリクスは画像専用に開発された。 0.61
We propose here a new perceptually/semanti cally meaningful similarity score for depth maps. 本稿では,深度マップの知覚的/意味的な類似度スコアを提案する。 0.56
This is obtained by training from scratch two VGG-like networks, trained on ImageNet for the task of object recognition, but from depth-based inputs: (i) An RGBD network that receives a 4-channel RGBD input (an image concatenated channel-wise with its estimated depth map), and (ii) A Depth-only network that is trained similarly and with the same architecture, but with a single-channel input containing only the depth map of an image. これは、2つのvggライクなネットワークをスクラッチから訓練し、オブジェクト認識のタスクのためにimagenetで訓練したが、深度ベースの入力から得られた: (i) 4チャンネルのrgbd入力(推定深度マップとチャンネルごとに連結された画像)を受信するrgbdネットワークと、(ii)同じアーキテクチャで同じように訓練され、画像の深さマップのみを含む深さのみのネットワークである。 0.82
The goal of such training is not to improve object recognition, but rather to obtain a coarse-to-fine hierarchy of semantically-meaning ful depth-related features (depth-only features, or RGBD features). このようなトレーニングの目的は、オブジェクト認識を改善することではなく、意味的に意味のある深度関連機能(深度のみの機能、RGBD機能)の粗い階層構造を得ることである。 0.63
Once trained, these features form the basis to our RGBD and Depth-only Perceptual Similarity metrics used for training and evaluating our reconstructions. トレーニングが完了すると、これらの機能は我々のrgbdと奥行きのみの知覚的類似度メトリクスの基礎を形成し、リコンストラクションのトレーニングと評価に使用されます。 0.52
3. Handling the insufficient fMRI training data (Fig 2cd). 3. 不十分なfMRIトレーニングデータ(図2cd)を扱う。 0.84
To train our Decoder (fMRI (cid:55)→ Depth, or fMRI (cid:55)→ RGBD), we used a moderate-size fMRI dataset – ‘fMRI on ImageNet’ [26]. Decoder (fMRI (cid:55)→ Depth, or fMRI (cid:55)→ RGBD) のトレーニングには、中規模のfMRIデータセットである ‘fMRI on ImageNet’ [26] を使用しました。 0.82
However, the train-set of this dataset contains only 1200 pairs of images with their corresponding fMRI recordings (this small number is typical of fMRI datasets). しかし、このデータセットのトレインセットは、対応するfMRI記録を持つ1200対のイメージのみを含む(この小さな数はfMRIデータセットの典型である)。 0.75
Such a small number of examples cannot span the huge space of natural images (nor their corresponding depth maps), resulting in a poor generalization of the Decoder to fMRIs of never-before-seen images. このような少数の例は、自然画像の巨大な空間(それに対応する深度マップも)にまたがることができないため、デコーダのfMRIへの一般化は不十分である。 0.76
To overcome this problem, we generalize the self-supervised approach of [23] to accommodate for depth information. この問題を克服するため,[23]の自己教師型アプローチを一般化し,深度情報に対応する。 0.69
This allows us to train our decoder on many (50,000) additional natural images with their estimated depth maps – images for which there are no fMRI recordings. これにより、推定深度マップ(fMRI記録がない画像)を使って、多くの(50,000)追加の自然画像でデコーダをトレーニングすることができます。 0.72
Specifically, our semi-supervised approach employs a two-phase training: The first phase is supervised, and focuses on training of an Encoder, Enc – to map images and their depth maps to their corresponding fMRI recordings. 第1フェーズは監督され、エンコーダ(enc)のトレーニングに焦点が当てられ、画像とその深度マップを対応するfmri記録にマッピングします。
訳抜け防止モード: 具体的には、私たちの半教師ありアプローチでは、2段階のトレーニングを採用しています。 第1段階が監督される。 Encoder, Enc – のトレーニングに重点を置いている。 画像とその深度マップを対応するfMRI記録にマッピングする。
0.59
This is done using the 1200 “paired” examples from the fMRI dataset, along with their MiDaS-estimated depth maps (Fig 2c). これは、fmriデータセットの1200の“ペアレッド”例と、midas-estimated depth maps(図2c)を使って行われる。
訳抜け防止モード: これはfMRIデータセットの1200の “ paired ” 例を使って行われる。 MiDaS - 推定深度マップ (図2c) とともに。
0.83
In the second phase, we train the Decoder, Dec, using two objectives: (i) supervised training, to map the limited “paired” fMRI recordings to their corresponding images and depth maps (Fig 2d1), and (ii) self-supervised cycle-consistent training on a very large number of “unpaired” natural images with their corresponding depth maps. 第2フェーズでは,Decoder, Decを2つの目標を用いて訓練する。 (i) 教師付きトレーニング, (i) 限られた「ペア化」fMRI記録を対応する画像と深度マップにマッピングする (g2d1) と (ii) 多数の「ペア化」された自然画像と対応する深度マップで自己監督型サイクル一貫性トレーニングを行う。 0.80
This cycle-consistency is facilitated using the auxiliary pretrained Encoder from the first phase (Fig 2d2). このサイクル整合性は、第1フェーズ(図2d2)から補助事前訓練エンコーダを用いて容易となる。 0.65
The Decoder loss uses our above-mentioned depth-based Perceptual Similarity between the reconstructed and the “ground-truth” depth maps. Decoderの損失は、上述の深度に基づく、再構成された深度マップと“地平線”の知覚的類似性を利用する。 0.62
Using this metric ensures that the reconstructed images and their reconstructed depth maps are perceptually and semantically meaningful (well beyond their pixel-level similarity). この計量を用いて、再構成された画像とその再構成された深度マップが知覚的かつ意味的に意味があることを保証する(ピクセルレベルの類似性を超えて)。 0.54
We experimented with 2 main approaches to explore the best scheme for depth-decoding from fMRI: Depth-only framework. 我々は,fMRIからの深度復号化のための最良スキームを探るため,2つの主要な手法を実験した。 0.62
Our goal is to recover depth. 私たちの目標は深さを回復することです。 0.57
In this mode, the input to the Encoder & output of the Decoder (Fig 2cd) is a single-channel depth map; all RGB image data is discarded in the training. このモードでは、デコーダ(図2cd)のエンコーダと出力への入力は単一のチャネル深度マップであり、トレーニング中にすべてのRGB画像データが破棄される。 0.84
The reconstruction loss on the decoder in this case is our Depth-only Perceptual Similarity. この場合のデコーダの復元損失は、深さのみの知覚的類似性である。 0.69
This approach allowed us to isolate the task of depth recovery from fMRI alone. このアプローチにより、fMRI単独で深度回復のタスクを分離できる。 0.69
However, it risks poor Encoder-training in the first supervised phase. しかし、第1の教師付きフェーズではエンコーダのトレーニングが悪い。 0.56
The reason being: there are likely many voxels in the visual cortex that are not depth-dependent, only RGB-dependent. 理由は、深度に依存しない、RGBのみに依存しない視覚野に多くのボクセルが存在するためである。 0.62
Yet, the encoder is expected to predict their values from depth-only information in the first training phase. しかし、エンコーダは、第1のトレーニングフェーズにおいて、深さのみの情報から値を予測することが期待されている。
訳抜け防止モード: しかし エンコーダは 深さから値を予測する - 最初のトレーニングフェーズで情報のみ。
0.64
RGBD framework. RGBDフレームワーク。 0.72
To avoid the above potential problem, we experimented also with training both the Encoder & Decoder on combined RGB-D data. 上記の潜在的な問題を回避するため、我々はエンコーダとデコーダを併用したRGB-Dデータのトレーニングも行った。 0.66
The reconstruction loss on the decoder in this case is our RGBD Perceptual Similarity. この場合デコーダの再構成損失は,我々のRGBD知覚類似性である。 0.75
This combined reconstruction further allows us to explore whether there are fMRI voxels more tuned to depth, versus voxels more tuned to RGB information. この組み合わせにより、より深度に調整されたfMRIボクセルと、RGB情報に調整されたfMRIボクセルがあるかどうかを探索できる。 0.57
These experiments are discussed in Sec. これらの実験はsecで議論されている。 0.50
4. 3 Method Details Learning perceptually-meaning ful Depth-based features. 4. 3 深度に基づく知覚的意味のある特徴を学習する手法の詳細。 0.67
Part of the success of our method stems from using perceptually-meaning ful Depth-based features. この手法の成功の一部は、知覚的な奥行きに基づく機能を使うことによるものです。 0.49
These features are used in two main ways within our method: (i) They form the basis for our Depth-based Perceptual Similarity metric (explained next); (ii) They form the main backbone of our Encoder (a detailed description of our networks architecture is found in the Supplementary-Materi al). これらの特徴は、メソッド内の2つの主要な方法で使用される: (i) 深度に基づく知覚的類似度メートル法(次に説明される)の基礎となる; (ii) エンコーダの主バックボーンを形成する(ネットワークアーキテクチャの詳細な説明は、補足行列にある)。 0.80
These perceptually-meaning ful depth-based features are learned as follows: We customized the VGG architecture to accommodate a four-channel RGBD input, and another version that respects a single Depth-only input. 私たちは、4チャンネルのRGBD入力に対応するためにVGGアーキテクチャをカスタマイズし、Depthのみの入力を尊重する別のバージョンを作成しました。 0.53
We then train these networks from scratch on ImageNet for the task of object recognition (Fig 2b), similar to the way the original VGG network was trained. 次に、元のVGGネットワークのトレーニング方法と同様、オブジェクト認識タスク(図2b)のために、ImageNet上でこれらのネットワークをスクラッチからトレーニングします。 0.77
To obtain the “ground-truth” depth data required for this training, we estimated the depth maps of all ∼1.3M images in ImageNet classification この訓練に必要な奥行きデータを得るために,imagenet分類における1.3m画像の奥行きマップを推定した。 0.77
5 5 0.85
英語(論文から抽出)日本語訳スコア
challenge (ILSVRC) [27] using MiDaS. チャレンジ (ILSVRC) [27] MiDaS. 0.62
We denote the trained two depth-based object recognition networks as ϕRGBD and ϕD. 学習した2つの深度に基づく物体認識ネットワークをφRGBDとφDと呼ぶ。 0.69
Notably, the resulting object recognition accuracy of ϕRGBD was comparable with its RGB-only baseline (∼70% accuracy), whereas the depth-only recognition network ϕD achieved ∼42% accuracy. 特に、φRGBDのオブジェクト認識精度はRGBのみのベースラインと同等であり、深さのみの認識ネットワークφDは42%の精度を達成した。 0.76
The goal, however, was not to improve object recognition, but rather to obtain a coarse-to-fine hierarchy of semantically-meaning ful depth-related features. しかし、目標はオブジェクト認識を改善することではなく、意味的に意味のある奥行きに関連した特徴の粗い階層を得ることだった。 0.61
Depth-based Perceptual Similarity. 深度に基づく知覚的類似性。 0.48
We extend the concept of Perceptual Similarity metric of [28] from images to depth-related data (Depth-only or RGBD). 画像から奥行き関連データ(奥行きのみまたはrgbd)まで [28] の知覚的類似度計量の概念を拡張した。 0.69
Specifically, to compare a reconstructed depth map ˆs to a target depth map s, we first feed both into the trained Depth-only recognition network, ϕD, and extract features from multiple blocks (from low to high layers, corresponding to lower-to-higher “semantic” levels). 具体的には、再構成された深度マップを目標深度マップsと比較するために、まず訓練された深度のみの認識ネットワークφDにフィードし、複数のブロック(低層から高層まで、より低層から高層まで)から特徴を抽出する。 0.80
Similarly, when s and ˆs are RGBD data, we use the trained RGBD-based recognition network, ϕRGBD. 同様に、s と s が rgbd データであるとき、訓練された rgbd ベースの認識ネットワーク φrgbd を使用する。 0.63
For brevity we henceforth refer to both networks as ϕ. 簡潔性については、両方のネットワークをφと呼ぶ。 0.66
We denote the deep features extracted from an input s at the output of a particular block b, by ϕb (s). 我々は、特定のブロックbの出力において入力sから抽出された深い特徴を φb(s) で表す。 0.84
The perceptual similarity between s and ˆs, Lperceptual (ˆs, s), is then defined by cosine similarity between channel-normalized ground-truth and predicted features at each block output: sとsの知覚的類似性(Lperceptual)は、チャネル正規化基底構造と各ブロック出力における予測特徴との間の余弦的類似性によって定義される。 0.68
Lperceptual (ˆs, s) ∝ − 5(cid:88) Lperceptual (s, s) > − 5(cid:88) 0.89
cos(cid:0)∠(cid:0)ϕb (ˆs) , ϕb (s)(cid:1)(cid:1) , cos(cid:0) ) (cid:0)φb (\s) , φb (s)(cid:1) (cid:1) , 0.83
(1) b=1 Handling the insufficient fMRI training data - The self-supervised approach: Fig 2cd shows our two-phase self-supervised training. (1) b=1 不十分なfMRIトレーニングデータの処理 - 自己教師型アプローチ: Fig 2cdは、私たちの2フェーズの自己教師型トレーニングを示しています。
訳抜け防止モード: (1) b=1 不十分なfmriトレーニングデータ - 自己 - 教師付きアプローチ :fig 2cdは,2つの段階的自己監督訓練を示す。
0.67
We describe the method for the case of RGBD encoding/decoding, and then briefly highlight the differences in the Depth-only configuration. 本稿では、rgbdエンコーディング/デコードの場合の方法を説明し、奥行きのみの構成の違いを簡潔に強調する。 0.61
• Encoder supervised training (Phase I, Fig 2c). •エンコーダによる指導訓練(第I部,第2部) 0.68
Let r be the ground truth fMRI, and ˆr = Enc (s) denote the encoded fMRI resulting from applying our Encoder to an RGBD input, s. We define an fMRI loss by a convex combination of mean square error and cosine proximity between ˆr and r: r を基底真理 fmri とし、r = enc (s) はエンコーダを rgbd 入力に適用することによって生じる符号化された fmri を表す。
訳抜け防止モード: r を基底真理 fMRI とし、r = Enc ( s ) を符号化 fMRI とする。 エンコーダをRGBD入力に適用します。 s. 平均二乗誤差と余弦近接の凸結合によるfMRIの損失を定義する。
0.72
(2) where α is a hyperparameter set empirically (α = 0.9). 2) α は経験的に超パラメータ集合 (α = 0.9) である。 0.82
We use this loss for training the Encoder E. Upon completion of Encoder training, we proceed to training the Decoder with a fixed Encoder. エンコーダのトレーニングが完了すると、固定されたエンコーダでデコーダのトレーニングを進めます。
訳抜け防止モード: 私たちはこの損失をエンコーダEのトレーニングに利用します。 私たちは固定されたエンコーダでデコーダのトレーニングを進めます。
0.75
• Decoder training (Phase II, Fig 2d). •デコーダ訓練(Phase II, Fig 2d)。 0.80
Decoder training is driven by two main losses: デコーダのトレーニングには2つの大きな損失がある。 0.57
Lr (ˆr, r) = α · MSE (ˆr, r) − (1 − α) cos (∠ (ˆr, r)) , Lr(r, r) = α · MSE(r, r) − (1 − α) cos(r, r)) , 0.78
LDec + LEncDec, LDec + LEncDec 0.65
(3) where LDec is a supervised loss on training pairs of image-fMRI, and LEncDec (Encoder-Decoder) is an unsupervised loss on unpaired images (without corresponding fMRI recordings). (3) LDecはイメージfMRIのトレーニングペアにおける教師なしの損失であり、LEncDec(エンコーダ・デコーダ)は未ペア画像に対する教師なしの損失である。 0.75
Both components of the loss are normalized to have the same order of magnitude (all in the range [0, 1], with equal weights), to guarantee that the total loss is not dominated by any individual component. 損失の両成分は同じ等級(すべて[0, 1]の範囲で等しい重みを持つ)を持つように正規化され、全損失が個々の成分によって支配されないことを保証する。 0.74
We found our reconstruction results to be relatively insensitive to the exact balancing between the two-loss components. 再建結果は2つの部品間の正確なバランスに比較的敏感であることがわかった。 0.69
We next detail each component of the loss. 次に損失の構成要素を詳述する。 0.64
LDec: Decoder Supervised Training (Fig 2d1). LDec: Decoder Supervised Training (図2d1)。 0.90
Given training pairs {(r, s)}={fMRI, RGBD}, the supervised loss LDec is imposed on the decoded RGBD image, ˆs=Dec (r). トレーニングペア {(r, s)}={fMRI, RGBD} が与えられた場合、教師付き損失LDecは、復号されたRGBD画像, s=Dec(r)に課される。 0.68
LDec=Ls (ˆs, s) consists of an (cid:96)1-loss on the RGBD values, as well as our depth-based perceptual loss, Lperceptual (Eq. LDec=Ls は (cid:96)1-loss on the RGBD value, and our depth-based perceptual loss, Lperceptual (Eq。 0.73
1): (4) Ls (ˆs, s) = (cid:107)ˆs − s(cid:107)1 + Lperceptual (ˆs, s) + R (ˆs) 1): (4) Ls(s, s) = (cid:107)シュス − s(cid:107)1 + Lperceptual(s, s) + R(s) 0.86
where, R (ˆs), corresponds to total variation (TV) regularization of the reconstructed (decoded) ˆs. ここで、R は、再構成された(復号された) s の総変分 (TV) 正則化に対応する。 0.70
LED: Self-supervised Encoder-Decoder training on unpaired Natural Images & Depth Maps (Fig 2d2). LED: 自然画像と深度マップの自己教師型エンコーダデコーダトレーニング(図2d2)。 0.77
This objective enables to train on any desired unpaired image along with its corresponding depth map (images for which fMRI was never recorded), well beyond the 1200 images included in the fMRI dataset. この目的により、fMRIデータセットに含まれる1200の画像以外にも、必要な未ペア画像と対応する深度マップ(fMRIが記録されていない画像)をトレーニングすることができる。 0.78
In particular, we used ∼50K additional natural images from ImageNet’s 1000-class data [27], along with their estimated depth-maps (see Sec. 特に、ImageNetの1000クラスのデータ[27]から、推定した深度マップとともに、50Kの追加的な自然画像を使用しました。 0.71
2). We train on such RGBD data without fMRI, by imposing cycle consistency through our Encoder-Decoder transformation: 2). このようなrgbdデータをfmriなしでトレーニングし、エンコーダ・デコーダ変換を通じてサイクル一貫性を課す。
訳抜け防止モード: 2). このようなrgbdデータを fmriなしでトレーニングし エンコーダ-デコーダ変換によるサイクル一貫性の実現
0.80
s (cid:55)→ ˆsEncDec = D (E (s)) . s (cid:55)→ sEncDec = D (E (s))。 0.86
The unsupervised component LEncDec of the loss in Eq 3 on unpaired images, s, reads: unsupervised component lencdec of the loss in eq 3 on unpaired images, s, read: (英語) 0.81
where Ls is the Image loss defined in Eq 4. ls は eq 4 で定義される画像損失である。 0.81
In other words, LEncDec imposes cycle-consistency on any RGBD data, but at a perceptual level (not only at the pixel level). 言い換えれば、LEncDecは任意のRGBDデータにサイクル一貫性を課すが、知覚レベルでは(ピクセルレベルだけでなく)。 0.63
LEncDec = Ls (ˆsEncDec, s) , LEncDec = Ls (sEncDec, s) , 0.85
6 6 0.85
英語(論文から抽出)日本語訳スコア
The input to our Encoder (and output of our Decoder) are 112×112 images and depth maps, although our method works well also on other resolutions. エンコーダへの入力(およびデコーダの出力)は112×112の画像と深度マップですが、他の解像度でもうまく動作します。 0.76
For details on hyperparameters as well as on Encoder/Decoder architectures see Supplementary-Materi al. ハイパーパラメータやエンコーダ/デコーダアーキテクチャの詳細は、補足材料を参照してください。 0.64
Depth-only framework. 深さのみのフレームワーク。 0.52
In a Depth-only configuration we encode/decode (reconstruct) the depth map alone, discarding all RGB data from training. Depthのみの設定では、深度マップのみをエンコード/デコード(再構成)し、トレーニングからすべてのRGBデータを破棄します。 0.68
Specifically, we switch to a Depth-only perceptual loss using ϕb D. The Encoder/Decoder switch to a single channel input/output, respectively. 具体的には、φb Dを用いてDepthのみの知覚損失に切り替える。Encoder/Decoderは、それぞれ1チャンネルの入出力に切り替える。 0.65
Particularly, the Encoder architecture switches to using a Depth-only pretrained network. 特にEncoderアーキテクチャは、Depthのみの事前訓練ネットワークに切り替える。 0.61
Runtime. Our system completes the two-stage training within approximately 2 hours on a single Tesla V100 GPU. ランタイム。 当社のシステムは,1台のTesla V100 GPUで約2時間以内に2段階のトレーニングを完了する。 0.67
Inference (decoding of new fMRI recordings) takes a few milliseconds per image. 推論(新しいfMRI記録の復号)は画像ごとに数ミリ秒かかる。 0.74
4 Experiments and Results 4.1 Experimental datasets We tested our self-supervised depth reconstruction approach on a highly popular and publicly available benchmark fMRI dataset, called fMRI on ImageNet [26]. 4 実験と結果 4.1 実験データセット 画像Net [26] 上で fMRI と呼ばれる、非常に人気があり一般公開されているベンチマーク fMRI データセット上で、自己教師型深度再構成アプローチを検証した。
訳抜け防止モード: 4 実験と結果 4.1 実験データセット 自己教師付き深度再構成アプローチを高人気で一般公開されているfMRIデータセット上で検証した。 fMRI (複数形 fMRIs) ImageNet [26 ] で。
0.67
We found this dataset to be the only one currently suitable for our method in terms of the stimuli used and fMRI signal quality. このデータセットは、現在使われている刺激とfMRI信号の品質の観点から、我々の方法に適した唯一のデータセットであることがわかった。 0.58
An important point is the requirement to perform depth estimation on color ImageNet-like natural images that match the input distribution expected by the MiDaS depth estimation network we used. 重要ポイントは,我々が利用したmidas深度推定ネットワークが期待する入力分布にマッチするカラーイメージネットライクな自然画像の深さ推定を行うことである。 0.77
‘fMRI on ImageNet’ provides fMRI recordings of observed images. ImageNetのfMRIは、観察された画像のfMRI記録を提供する。 0.70
Subjects were instructed to fixate on a cross positioned at the center of the presented images. 被験者は提示画像の中心に位置する十字架に固定するように指示された。 0.68
‘fMRI on ImageNet’ comprises 1250 distinct ImageNet images drawn from 200 selected categories. fMRI on ImageNet”は、200のカテゴリから抽出された1250の異なるImageNetイメージで構成されている。 0.60
Fifty image categories provided the 50 test images, one from each category. 50の画像カテゴリは、各カテゴリから1つずつ、50のテストイメージを提供した。 0.61
The remaining 1200 were defined as train set. 残りの1200両は列車として設定された。 0.61
The images in the train set and test set come from mutually exclusive categories (different classes). 列車のセットとテストセットのイメージは、相互に排他的なカテゴリ(異なるクラス)から来ます。 0.73
We considered approximately 4500 voxels from the visual cortex, provided by the authors of [26]. 我々は[26]の著者らが提供した視覚野から約4500のボクセルを検討した。 0.65
We used additional ∼50K “unpaired” natural images from ImageNet’s validation set [27] with their estimated depth maps, for our self-supervised training (Fig. ImageNetの検証セット[27]から追加で50Kの“未ペア”な自然画像と推定深度マップを、自己教師型トレーニング(図)に使用しました。 0.69
2d2). We verified that the images in our additional unlabeled external dataset, are distinct from those in the ‘fMRI on ImageNet’. 2d2)。 我々は、追加でラベル付けされていない外部データセットのイメージが、‘fMRI on ImageNet’のイメージと異なることを検証した。 0.68
4.2 Depth recovery - results & evaluations Fig. 4.2 depth recovery - results & evaluations fig。 0.87
3 shows visual results of our proposed self-supervised RGBD method. 3は自己教師付きRGBD法の視覚的結果を示す。 0.56
This includes the reconstructed RGB images (of the underlying images seen by the subjects) and their corresponding reconstructed depth maps (never seen by the subjects) – both recovered directly from fMRI. これには、再構成されたrgb画像(被験者が見る基礎となる画像)と対応する再構成された深度マップ(被験者が見ることはない)が含まれている。
訳抜け防止モード: これには再構成されたRGB画像(被験者が見る基盤画像)が含まれる。 対応する深度マップを 被験者には見られません いずれもfMRIから直接回復した。
0.73
A stark feature that emerges in the reconstructed depth maps is foreground/backgroun d segregation. 再構成された深度マップに現れる驚くべき特徴はフォアグラウンド/バックグラウンド分離である。 0.61
However, a closer inspection reveals finer details of depth variations. しかし、より近い検査により、深度の変化の詳細な詳細が明らかになる。 0.55
Results are shown for the entire test cohort (all 50 test fMRIs of the ‘fMRI on ImageNet’ dataset). 結果は、テストコホート全体(‘fMRI on ImageNet’データセットの50のテストfMRIすべて)に表示される。 0.81
These results correspond to Subject 3, who has the highest noise-ceiling fMRI data (results on other subjects are in the Supplementary-Materi al). これらの結果は、最も高いノイズ焼成fMRIデータを持つ第3科目に対応している(他の科目は副科目)。 0.73
Performance evaluation. パフォーマンス評価。 0.70
To quantitatively evaluate our reconstruction results, we followed an n-way identification experiment [23, 24, 13, 16, 21, 14], applied separately to images (RGB) and to depth maps (D). 再建成績を定量的に評価するために,画像(RGB)と深度マップ(D)に別々に適用したn方向識別実験(23,24,13,16,21,14]を行った。 0.85
Each reconstructed image is compared against n candidate images (the ground truth image, and (n − 1) other randomly selected images). 各再構成画像は、n候補画像(地上真理画像、および(n − 1)他のランダムに選択された画像)と比較される。 0.72
The goal is to identify the ground truth, or at least rank it well among the candidates (rank=1 signifies perfect identification). 目標は、基礎的真理を識別すること、あるいは少なくとも候補者の間でそれをうまくランク付けすることである(ランク=1は完全な識別を意味する)。 0.55
We evaluate our RGB or Depth reconstructions using this rank identification (lower is better). 我々はこのランク識別を用いてRGBまたはDepth再構成を評価した。 0.69
This provides an informative accuracy measure that accounts for cases when the ground truth is not strictly identified as the best candidate, but is nevertheless ranked fairly low. これは、基底真理が厳密に最良の候補として特定されていない場合に考慮される情報的精度の指標を提供するが、それでもかなり低いランクである。
訳抜け防止モード: これは、事例を判断する情報的正確度尺度を提供する。 根底にある真実は 必ずしも 最高の候補者ではない それでも かなり低いランクです。
0.65
Reconstructed Images (RGB) were compared against candidates using the image-based Perceptual Similarity metric of [28]. 再構成画像(RGB)を画像ベース [28] の知覚的類似度指標を用いて候補と比較した。 0.74
Reconstructed depth maps were compared against candidate depth maps using our new Depth-only Perceptual Similarity metric. 再構成深度マップは,新しい深度のみの知覚類似度測定値を用いて,候補深度マップと比較した。
訳抜け防止モード: 再構成深度マップと候補深度マップの比較 新しい深度 - 知覚的類似度メトリックのみを使用する。
0.74
Fig 4 shows comparison of our three main approaches for depth recovery (see Sec 2). 図4は、深度回復のための3つの主要なアプローチの比較を示している(Sec 2)。 0.69
Specifically, it shows results for our two main approaches to depth-decoding from fMRI, which achieved the best results: (i) RGBD framework (Fig 4b), and (ii) Depth-only framework (training for depth recovery without any RGB data during training, Fig 4c). 具体的には、(i)RGBDフレームワーク(第4b図)と(ii)Depth専用フレームワーク(トレーニング中のRGBデータなしでの深度回復のためのトレーニング、第4c図)という、fMRIからの深度復号化に関する2つの主要なアプローチの結果を示す。 0.79
We find that both approaches successfully recover depth details as demonstrated in the visual results. 両手法とも,視覚的な結果から深度を再現することに成功した。 0.68
Furthermore, quantitative rank identification evaluation scores a mean rank of 120 and 124 in the challenging 1000-way task for RGBD and Depth-only methods, respectively – more than 4x the chancel level (chance level rank=500, showing average scores over all 5 subjects). さらに、RGBDとDepthのみの手法では、平均ランクが120と124であり、それぞれ4倍の確率レベル(平均ランクが500、全5被験者の平均スコアが500)である。
訳抜け防止モード: さらに、定量的ランク識別評価では平均ランク120。 そして、rgbdと深さの挑戦的1000ウェイタスクの124は、メソッドのみです。 それぞれ4倍以上の確率レベル(チャンスレベルランク=500)。 平均得点は5名)。
0.71
Comparing these approaches, we find that the results by both approaches are largely on par with each other. これらのアプローチを比較すると、両方のアプローチによる結果がほぼ一致していることが分かります。 0.68
This implies that best depth recovery results are これは最善の深度回復の結果が 0.81
7 7 0.85
英語(論文から抽出)日本語訳スコア
Figure 4: Depth recovery by RGBD & Depth-only approaches. 図4: RGBD と Depth のみのアプローチによる深さ回復。 0.79
(a) Depth map estimated from ground-truth RGB-image using MiDaS [25]. (a)MiDaS[25]を用いた地中RGB画像からの深さマップの推定 0.79
(b) Depth channel of RGBD reconstruction directly from fMRI. (b)fmriから直接rgbd再構成の深さチャネル。 0.70
(c) Depth recovery directly from fMRI, where both Encoder & Decoder are trained “Depth-only” – without using any RGB data for training. c) エンコーダとデコーダの両方がトレーニングにrgbデータを使わずに“深さのみ”トレーニングされるfmriから直接深さ回復。 0.74
(d) Indirect depth recovery from reconstructed RGB-images using MiDaS. (d)MiDaSを用いた再構成RGB画像からの間接深度復元 0.78
This approach fails to recover depth faithfully. このアプローチは深さを忠実に回復することができない。 0.51
(e) Depth reconstruction mean rank for (b)-(d) respectively by n-way rank identification experiments (lower is better, showing average over all 50 reconstructed depth maps and five subjects). (e) (b)-(d) の深さ復元平均ランクは, それぞれn方向のランク識別実験により決定される(より低いのは, 50 個の再構成深度マップと5つの被験者の平均値である)。
訳抜け防止モード: (e)深さ復元平均ランク (b)-(d ) はそれぞれ n- way ランク識別実験 (lower is better) による。 50以上の復元深度マップと5つの被験者の平均値を示す。
0.81
95% Confidence Intervals by bootstrap shown on charts. 95% Confidence Intervals by bootstrap shown on charts。 0.80
obtainable even in complete absence of any RGB supervision or self-supervision. RGBの監督や自己監督の完全な欠如でも取得可能。 0.45
On the other hand, the RGBD approach provides additional recovered information – the reconstructed RGB image. 一方、RGBDアプローチは、再構成されたRGBイメージという、さらなる復元された情報を提供する。 0.63
4.3 Ablation study – The importance of Direct vs. 4.3 アブレーション研究 - Direct vs. の重要性 0.89
Indirect depth reconstruction from fMRI We compare our reconstruction results agaist several baselines: • RGB-only Enc/Dec followed by depth estimation on the reconstructed images. rgbのみのenc/decと、再構成画像の奥行き推定とを比較した。
訳抜け防止モード: fmriを用いた間接的奥行き再構成法の検討 : • rgb- 再構成画像の深さ推定はenc/decのみである。
0.72
Fig 4d shows results for an indirect depth recovery approach. 図4dは間接深度回復法の結果を示す。 0.81
We estimate the depth map from a reconstructed RGB image as a post-processing step (The RGB image is reconstructed via an RGB-only framework with the perceptual features/similarity of [28]). 再構成されたRGB画像から深度マップを後処理ステップとして推定する(RGB画像は[28]の知覚的特徴/類似性を持つRGB専用フレームワークを介して再構成される)。 0.76
This involves no training on depth data at all. 深度データに関するトレーニングは一切含まない。 0.65
This approach gives rise to poor depth reconstruction quality, indicated both visually and quantitatively in Fig 4. このアプローチは、図4で視覚的および定量的に示される深度復元品質の低下をもたらす。 0.82
• RGB-only Enc/Dec, but constrained by a depth estimation loss on the reconstructed images. ・RGBのみEnc/Decだが、再構成画像の深さ推定損失により制約される。 0.65
We extended the indirect depth recovery of the RGB-only framework, by imposing a depth loss on the reconstructed RGB images during training. 再建したRGB画像に深度ロスを付与することにより,RGBのみのフレームワークの間接的深度回復を拡大した。 0.78
To impose depth reconstruction criteria on an RGB-only Decoder, we mounted atop it the pre-trained MiDaS depth estimation network [25], M (·). rgbのみのデコーダに深さ再構成基準を課すため、プリトレーニングされたmida深度推定ネットワーク [25], m (·) 上に実装した。 0.76
Although the Decoder itself does not produce any depth map, combining the resulting MiDaS depth map with the decoder’s RGB output provides an RGBD output in total. Decoder自身は深度マップを生成しないが、結果のMiDaS深度マップとデコーダのRGB出力を組み合わせることで、合計でRGBD出力が得られる。 0.78
We experimented with two types of losses: (i) the standard loss of the RGBD framework, Ls, which includes also depth perceptual similarity Lperceptual (Eq. i) RGBDフレームワークの標準的損失であるLs(Lperceptual Lperceptual Lperceptual Lperceptual Lperceptual Lq)の2種類の損失実験を行った。
訳抜け防止モード: 我々はRGBDフレームワークの標準損失である2種類の損失を実験した。 奥行き知覚類似性 Lperceptual (Eq) も含む。
0.57
1), and (ii) a simple (cid:96)1-loss on the depth maps, (cid:107)M (ˆsrgb) − M (srgb)(cid:107)1. 1) と (ii) 深度写像上の単純 (cid:96)1-ロス (cid:107)M (srgb) − M (srgb)(cid:107)1 である。 0.87
The y-axis in Fig 5a shows the mean depth-rank in the challenging 1000-way identification task (lower is better; shown for Subject 3; see Supp-Material for all subjects). 図5aのy軸は、挑戦する1000方向の識別タスクにおける平均深度ランクを示している(より低い、主題3で示される)。 0.67
The direct RGBD approach scores mean depth-rank of 97 (5x better than chance level), significantly outperforming the indirect approaches, (i) & (ii), by a large margin (38 and 56 rank levels, respectively). 直接RGBD法では, 深度は97(チャンスレベルより5倍)であり, 間接アプローチ (i) と (ii) をそれぞれ38位, 56位と有意に上回った。 0.53
The depth recovery performance achieved by the perceptually-constra ined indirect approach is slightly better than the two other indirect approaches for depth recovery (but significantly worse than the direct ones). 知覚的に制約された間接的アプローチによって達成される深度回復性能は、他の2つの間接的アプローチよりもわずかに優れている(ただし直接的アプローチよりもかなり悪い)。 0.61
• The RGB-Depth reconstruction Trade-off. •rgbのリコンストラクションのトレードオフ。 0.64
Fig 5a further plots the mean depth-rank versus the mean RGB-rank in the challenging 1000-way identification task, for all the direct & indirect 図5aは、直接的および間接的な1000方向識別タスクにおいて、平均深度ランクと平均RGBランクをさらにプロットする 0.70
8 ¯-*0)·/-0/#° +/#(+.» ./$(/ !-*("-*0)·/-0/#$(" .¼»¼» ¼»¼- *1 - $- /'4!-*(! ».#*2$)"/# - *1 - #)) '¼»¼ )$- /- *1 -4·++'$ »!/ -/# ! 8 ¯-*0)·/-0/#° +/#(+.» ./$(/ !-*("-*0)·/-0/#$(" .¼»¼» ¼»¼- *1 - $- /'4!-*(! ».#*2$)"/# - *1 - #)) '¼»¼ )$- /- *1 -4·++'$ »!/ -/# ! 0.85
/¼/*·*)'4- *1 - $(" .»¼ +/#·*)'4- *1 -4$- /'4!-*(! ˆ24„ƒ24ˆƒ24„ƒƒ24ˆƒƒ24„ƒƒƒ24ˆƒƒ„ƒƒ„ˆƒ…ƒƒ…ˆƒˆ24„ƒ24„ƒ†…)&$ )/$!$/$*) /¼/*·*)'4- *1 - $(" .»¼ +/#·*)'4- *1 -4$- /'4!-*(! ˆ24„ƒ24ˆƒ24„ƒƒ24ˆƒƒ24„ƒƒƒ24ˆƒƒ„ƒƒ„ˆƒ…ƒƒ…ˆƒˆ24„ƒ24„ƒ†…)&$ )/$!$/$*) 1.00
英語(論文から抽出)日本語訳スコア
Figure 5: Ablations study. 図5: 研究の欠如。 0.76
(See Sec 4.3 for details). (詳細はSec 4.3参照)。 0.76
image+depth recovery approaches. 画像+奥行き回復アプローチ。 0.57
Our results show that our direct RGBD approach provides the best depth reconstructions with yet a very good RGB identification score (a mean-RGB rank of 16 – more than 30x better than chance level). 結果から,我々の直接rgbdアプローチは,非常に優れたrgb識別スコア(平均rgbランク16 – 30倍以上)を持つ最善の深さ再構成を提供することがわかった。 0.77
On the other hand, the RGB-only approach, which is trained solely for RGB recovery, gives rise to better (yet comparable) RGB reconstructions. 一方、RGBのみのアプローチは、RGBリカバリ専用にトレーニングされているため、より優れた(同等の)RGBリカバリを実現している。 0.80
4.4 Detecting depth-sensitive voxels Predominance of Lower Visual Cortex. 4. 下部視覚野優位の深さ感応ボクセルの検出 0.65
We analyzed the impact of using only a subset of voxels from particular brain regions. 我々は、特定の脳領域のボクセルのサブセットのみを使用することによる影響を分析した。
訳抜け防止モード: 影響を分析しました 特定の脳領域のボクセルのサブセットのみを使用します。
0.70
Fig 5b shows rank identification results when using only voxels from the Lower Visual Cortex (LVC, comprising V1-V3) or those from the Higher Visual Cortex (HVC, comprising the LOC, FFA, PPA). 図5bは、下位視覚皮質(LVC、V1-V3)または上位視覚皮質(HVC、LOC、FFA、PPA)からのボクセルのみを使用する場合のランク識別結果を示す。 0.60
In those experiments the Encoder and Decoder were trained on the subset of voxels using our RGBD method. これらの実験では、EncoderとDecoderは、我々のRGBD法によるVoxelのサブセットで訓練された。
訳抜け防止モード: これらの実験では、エンコーダとデコーダはボクセルのサブセットで訓練された RGBDメソッドを使用します。
0.67
We then evaluated the reconstructed depth maps by n-way rank identification (n=5, 10, 50, 100, 500, or 1000, lower is better). 次に,n-way 階数同定(n=5,10,50,100,500,1000 )により再構成深度マップの評価を行った。 0.77
For comparison, we also plot the results when using all Visual Cortex voxels. 比較のために、すべてのVisual Cortex voxelsを使用する場合の結果もプロットする。 0.70
We find that our depth reconstruction performance is dominantly driven by the activations from LVC voxels. 我々の深度復元性能は, LVCボクセルの活性化によって大きく左右されることがわかった。 0.63
Using voxels from HVC alone significantly degrades our depth recovery performance. HVCのみのボクセルを用いることで、深度回復性能は著しく低下する。 0.58
Voxel-specific Depth Sensitivity Index. ボクセル特異的深度感度指数 0.69
We studied whether voxels can be characterized by their tuning to depth versus RGB-image information type. ボクセルが深度に調整できることとRGB画像情報タイプを比較検討した。 0.60
To this end, we used our trained RGBD Encoder, and computed the predicted voxel activations when setting each one of the RGBD input channels to zero (one channel at a time). この目的のために、トレーニングしたRGBDエンコーダを使用し、各RGBD入力チャネルを0(一度に1チャンネル)に設定する際に予測されたボクセルアクティベーションを計算した。 0.68
More formally, given a set of RGBD images, {(si)}, we denote by ski the resulting image when setting channel k in si to zero (k ∈ {R, G, B, D}). より形式的には、一連の rgbd イメージ {(si)} が与えられたとき、si 内のチャネル k を 0 に設定するとき、結果の画像をスキーで表す(k ∈ {r, g, b, d})。 0.75
Fi = Enc(si) denotes the encoded fMRI of the original RGBD image si, Fki = Enc(ski) denotes the encoded fMRI after zeroing channel k in si. Fi = Enc(si) は元の RGBD 画像 si の符号化 fMRI を表し、Fki = Enc(ski) は si の零チャネル k の後に符号化 fMRI を表す。 0.89
We define Voxel Depth Sensitivity Index (VDSI) at voxel v as: VDSI(Voxel Depth Sensitivity Index)をvoxel vで定義する。 0.66
Ei (|Fi(v) − FD,i(v)|) Ec (Ej (|Fi(v) − Fc,i(v)|)) Ei (|Fi(v) − FD,i(v)|) Ec (Ej (|Fi(v) − Fc,i(v)|) 0.87
; VDSI(v) ∈ [0, inf) . ; VDSI(v) ∈ [0, inf) 。 0.77
VDSI(v) = (5) where c is a color channel. VDSI(v) = (5) ここで c はカラーチャネルである。 0.86
Voxels with VDSI≈1 have similar sensitivity to color and depth variations. vdsi1のボクセルは、色や深さの変化に類似した感度を持つ。 0.49
Fig 5c shows the resulting VDSI values for all Visual Cortex voxels. 図5cは、すべてのVisual CortexのVDSI値を示している。 0.66
We evaluated the VDSI on two datasets: (i) RGBD images from the external dataset, (ii) the fMRI test set (see Sec 4.1). i)外部データセットからのRGBD画像,(ii)fMRIテストセットの2つのデータセットでVDSIを評価した(Sec 4.1参照)。 0.75
The scatter plot (Kernel-Density-Esti mate plot) in Fig 5c shows a strong agreement of the index across these two datasets (0.92 Pearson’s correlation). 図5cの散乱プロット(Kernel-Density-Esti mate plot)は、これらの2つのデータセット間のインデックスの強い一致を示している(パーソンの相関0.92)。 0.70
Similar agreement was also found with respect to the train and validation sets from the fMRI dataset. 同様の合意は、fMRIデータセットからのトレインと検証セットについても見出された。 0.66
This consistency possibly suggests the reliability of our VDSI measure. この一貫性は、VDSI測定の信頼性を示唆している可能性がある。 0.50
Note, however, that the vast majority of voxels have VDSI value well below 1. しかしながら、ほとんどのボクセルはVDSI値が1よりかなり低いことに注意されたい。 0.65
Exploring this further and validating the depth-sensitivity of individual voxels is part of our future work. これをさらに探求し、個々のボクセルの深度感度を検証することは、今後の研究の一環です。
訳抜け防止モード: これをさらに探求し、個々のボクセルの深さ-感度を検証する 将来の仕事の一部です
0.66
Conclusion The proposed method is the first to reconstruct dense 3D depth information from brain activity. 結論 提案手法は脳活動から高密度な3次元深度情報を再構成する最初の方法である。 0.71
Our approach is capable of reconstructing depth-based information (Depth-only or RGBD) directly from fMRI recordings. fMRI記録から直接深度情報(深度のみまたはRGBD)を再構成することができる。 0.73
We compensate for the lack in available fMRI training data by adding self-supervision on a very large collection of natural images without fMRI, along with their depth maps. 我々は、fMRIのない自然画像のコレクションに、深度マップとともに自己スーパービジョンを加えることで、利用可能なfMRIトレーニングデータの欠如を補う。 0.77
We show that predicting the depth map directly from fMRI outperforms its indirect recovery from a reconstructed image. fMRIから直接の深度マップの予測は、再構成画像からの間接的回復よりも優れていることを示す。 0.66
We further present a Depth-based Perceptual Similarity metric, which employs learned perceptual depth-based features. さらに、学習された深度に基づく特徴を用いた深度に基づく知覚類似度指標を提案する。 0.66
Lastly, we attempt to characterize the degree of depth-sensitivity of brain-voxels via a proposed depth-sensitivity measure. 最後に,提案した深度感性尺度を用いて,脳血管の深度感性度を特徴付ける。 0.74
Exploring the validity of these depth-sensitivity predictions is part of our future work. これらの深度感度予測の有効性の探索は、今後の研究の一環です。 0.57
9 »¼»¼»¼ )$- / +/#- *1 -4*)./-$) 4+ - +/0'.$($'-$/4 )$- / +/#- *1 -4*)./-$) 4l„·'*.. )$- / +/#- *1 -4!-*(- *)./-0/ $(" .· +/#- *~»„ƒƒƒ·24¼ "$*) +/# ' /$1$/4*3 ' +/# ).$/$1$/4 ) 3  $- /- *1 -4„…„‡„‰„‹…ƒ„„ƒ„ƒƒ„ƒƒ„ƒ„„ƒ…ƒ£ƒƒ£ˆ„£ƒ„£ˆ ).$/4' 1 '. 9 »¼»¼»¼ )$- / +/#- *1 -4*)./-$) 4+ - +/0'.$($'-$/4 )$- / +/#- *1 -4*)./-$) 4l„·'*.. )$- / +/#- *1 -4!-*(- *)./-0/ $(" .· +/#- *~»„ƒƒƒ·24¼ "$*) +/# ' /$1$/4*3 ' +/# ).$/$1$/4 ) 3  $- /- *1 -4„…„‡„‰„‹…ƒ„„ƒ„ƒƒ„ƒƒ„ƒ„„ƒ…ƒ£ƒƒ£ˆ„£ƒ„£ˆ ).$/4' 1 '. 0.91
ƒŌ†ƒŌ‡ƒŌˆƒŌ‰ƒŌŠƒŌ‹ƒŌŒƒŌ„ƒƒŌƒ£ˆ„£ƒ„£ˆ„…ƒ„†ƒ„‡ƒ„ˆƒ  3/ -)'/ )$ )/$!$/$*)-)& ) +/#$ )/$!$/$*)-)& / ./·. ƒŌ†ƒŌ‡ƒŌˆƒŌ‰ƒŌŠƒŌ‹ƒŌŒƒŌ„ƒƒŌƒ£ˆ„£ƒ„£ˆ„…ƒ„†ƒ„‡ƒ„ˆƒ  3/ -)'/ )$ )/$!$/$*)-)& ) +/#$ )/$!$/$*)-)& / ./·. 0.71
//ˆ24„ƒ24ˆƒ24„ƒƒ24ˆƒƒ24„ƒƒƒ24+ -. //ˆ24„ƒ24ˆƒ24„ƒƒ24ˆƒƒ24„ƒƒƒ24+ -. 0.56
*)œƒ£Œ…)&$ )/$!$/$*) *)œƒ£Œ…)&$ )/$!$/$*) 0.99
英語(論文から抽出)日本語訳スコア
Acknowledgments This project has received funding from the European Research Council (ERC) under the European Union’s Horizon 2020 research and innovation programme (grant agreement No 788535). 承認 このプロジェクトは欧州連合のhorizon 2020 research and innovation program (grant agreement no 788535)の下で欧州研究評議会(erc)から資金提供を受けている。 0.65
References [1] Y. Kamitani and F. Tong, “Decoding the visual and subjective contents of the human brain,” Nature 出典 [1] y. kamitani and f. tong, “decoding the visual and subjective content of the human brain”. nature 0.79
Neuroscience, vol. 8, pp. 神経科学、vol. 8, pp。 0.77
679–685, 5 2005. 679–685, 5 2005. 0.88
[2] J.-D. Haynes and G. Rees, “Decoding mental states from brain activity in humans,” Nature Reviews [2] J.-D. Haynes, G. Rees, “Decoding mental state from brain activity in human”, Nature Reviews 0.93
Neuroscience, vol. 7, pp. 神経科学、vol. 7, pp。 0.77
523–534, 7 2006. 523–534, 7 2006. 0.88
[3] K. N. Kay and J. L. Gallant, “I can see what you see,” 3 2009. K.N. Kay, J.L. Gallant, “I can see what you see”, 2009年3月3日閲覧。 0.84
[4] T. Naselaris, R. J. Prenger, K. N. Kay, M. Oliver, and J. L. Gallant, “Bayesian Reconstruction of Natural T. Naselaris, R. J. Prenger, K. N. Kay, M. Oliver, J. L. Gallant, “Bayesian Reconstruction of Natural” 0.94
Images from Human Brain Activity,” Neuron, vol. とneuron, vol.)。 0.25
63, pp. 902–915, 9 2009. 63, pp。 902–915, 9 2009. 0.84
[5] A. V. Iyer and J. Burge, “Depth variation and stereo processing tasks in natural scenes,” Journal of Vision, J. Burge, “Depth variation and stereo processing task in natural scene”[5] A. V. Iyer and J. Burge, Journal of Vision, 0.92
vol. 18, pp. Vol. 18, pp。 0.75
4–4, 6 2018. 4–4, 6 2018. 0.88
[6] I. P. Howard, Perceiving in Depth, vol. [6]I.P. Howard, Perceiving in Depth, vol. 0.95
1. Oxford University Press, 5 2012. 1. オックスフォード大学出版局、2012年5月。 0.73
[7] A. E. Welchman, “The Human Brain in Depth: How We See in 3D,” 10 2016. A.E. Welchman, “The Human Brain in Depth: How We See in 3D”. 2016年10月10日閲覧。 0.89
[8] M. Armendariz, H. Ban, A. E. Welchman, and W. Vanduffel, “Areal differences in depth cue integration 8] m. armendariz, h. ban, a. e. welchman, w. vanduffel, “areal difference in depth cue integration” 0.84
between monkey and human,” PLoS Biology, vol. とPLoS Biology, vol。 0.30
17, p. e2006405, 3 2019. 17, p. e2006405, 3 2019。 0.94
[9] K. N. Kay, T. Naselaris, R. J. Prenger, and J. L. Gallant, “Identifying natural images from human brain K. N. Kay, T. Naselaris, R. J. Prenger, J. L. Gallant, “人間の脳からの自然画像の同定” 0.84
activity,” Nature, vol. とNature, vol。 0.40
452, pp. 352–355, 3 2008. 452, pp。 352–355, 3 2008. 0.84
[10] S. Nishimoto, A. T. Vu, T. Naselaris, Y. Benjamini, B. Yu, and J. L. Gallant, “Reconstructing visual experiences from brain activity evoked by natural movies.,” Current biology : CB, vol. 10] 西本s. vu, a. t. vu, t. naselaris, y. benjamini, b. yu, j. l. gallant, “自然映画によって誘発される脳活動から視覚体験を再構築する”。
訳抜け防止モード: [10]西本氏、A.T.Vu氏、T.Naselaris氏、 Y. Benjamini, B. Yu, J. L. Gallant, 自然映画による脳活動からの視覚体験の再構築 現生生物学 : CB, vol。
0.85
21, pp. 1641–6, 10 2011. 21、p。 1641–6, 10 2011. 0.78
[11] H. Wen, J. Shi, Y. Zhang, K.-H. Lu, J. Cao, and Z. Liu, “Neural Encoding and Decoding with Deep H. Wen, J. Shi, Y. Zhang, K.-H. Lu, J. Cao, Z. Liu, “Neural Encoding and Decoding with Deep” 0.95
Learning for Dynamic Natural Vision,” Cerebral Cortex, vol. ダイナミック・ナチュラル・ヴィジョンのための学習」と大脳皮質,その1。 0.54
28, pp. 4136–4160, 12 2018. 28、p。 4136–4160, 12 2018. 0.78
[12] U. Guclu, M. A. J. van Gerven, U. Güçlü, and M. A. J. van Gerven, “Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream,” Journal of Neuroscience, vol. U.Guclu, M. A. J. van Gerven, U. Güçlü, M. A. J. van Gerven, “Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream”, Journal of Neuroscience, Vol. 0.87
35, pp. 10005–10014, 7 2015. 35, pp。 10005–10014, 7 2015. 0.85
[13] G. Shen, T. Horikawa, K. Majima, and Y. Kamitani, “Deep image reconstruction from human brain activity,” 13] g. shen, t. horikawa, k. majima, y. kamitani, "deep image reconstruction from human brain activity" 0.81
PLOS Computational Biology, vol. PLOS Computational Biology, vol。 0.80
15, p. e1006633, 1 2019. 15 p. e1006633 2019年1月 0.80
[14] C. Zhang, K. Qiao, L. Wang, L. Tong, Y. Zeng, and B. Yan, “Constraint-Free Natural Image Reconstruction From fMRI Signals Based on Convolutional Neural Network,” Frontiers in Human Neuroscience, vol. C. Zhang, K. Qiao, L. Wang, L. Tong, Y. Zeng, and B. Yan, “Constraint-Free Natural Image Reconstruction from fMRI Signals Based on Convolutional Neural Network”, Frontiers in Human Neuroscience, Vol. 0.90
12, p. 242, 6 2018. 12 p. 242 2018年6月6日 0.69
[15] K. Han, H. Wen, J. Shi, K.-H. Lu, Y. Zhang, D. Fu, and Z. Liu, “Variational autoencoder: An unsupervised model for encoding and decoding fMRI activity in visual cortex,” NeuroImage, vol. K. Han, H. Wen, J. Shi, K.-H. Lu, Y. Zhang, D. Fu, Z. Liu, “Variational autoencoder: An unsupervised model for encoding and decoding fMRI activity in visual cortex”, NeuroImage, Vol. 0.89
198, pp. 125–136, 9 2019. 198、p。 125–136, 9 2019. 0.79
[16] Z. Ren, J. Li, X. Xue, X. Li, F. Yang, Z. Jiao, and X. Gao, “Reconstructing seen image from brain activity by visually-guided cognitive representation and adversarial learning,” NeuroImage, vol. [16]Z. Ren, J. Li, X. Xue, X. Li, F. Yang, Z. Jiao, X. Gao, “視覚誘導型認知表現と対角学習による脳活動からの視像再構成”,NeuroImage, vol。 0.88
228, p. 117602, 3 2021. 228, p. 117602, 3 2021。 0.91
[17] M. Mozafari, L. Reddy, and R. Vanrullen, “Reconstructing Natural Scenes from fMRI Patterns using M. Mozafari, L. Reddy, R. Vanrullen, “FMRIパターンによる自然シーンの再構築”
訳抜け防止モード: [17 ]M. Mozafari, L. Reddy, R. Vanrullen fMRIパターンを用いた自然シーンの再構成
0.88
BigBiGAN,” tech. BigBiGAN”の略。 0.56
rep. [18] K. Qiao, J. Chen, L. Wang, C. Zhang, L. Tong, and B. Yan, “BigGAN-based Bayesian Reconstruction of 代表。 K. Qiao, J. Chen, L. Wang, C. Zhang, L. Tong, B. Yan, “BigGANを基盤としたベイズ的再構築 0.59
Natural Images from Human Brain Activity,” Neuroscience, vol. とneuroscience, vol.)。 0.25
444, pp. 92–105, 7 2020. 444, pp。 92–105, 7 2020. 0.85
[19] G. Shen, K. Dwivedi, K. Majima, T. Horikawa, and Y. Kamitani, “End-to-end deep image reconstruction G. Shen, K. Dwivedi, K. Majima, T. Horikawa, Y. Kamitani, “End-to-end Deep Image reconstruction” 0.86
from human brain activity,” Frontiers in Computational Neuroscience, vol. と、計算神経科学のフロンティア、vol.1は述べている。 0.46
13, p. 21, 4 2019. 13 p. 21 2019年4月4日。 0.71
[20] G. St-Yves and T. Naselaris, “Generative Adversarial Networks Conditioned on Brain Activity Reconstruct Seen Images,” in Proceedings - 2018 IEEE International Conference on Systems, Man, and Cybernetics, SMC 2018, pp. G. St-Yves and T. Naselaris, “Generative Adversarial Networks Conditioned on Brain Activity Reconstruct Seen Images” in Proceedings - 2018 IEEE International Conference on Systems, Man, and Cybernetics, SMC 2018, pp. 0.81
1054–1061, Institute of Electrical and Electronics Engineers Inc., 1 2019. 1054-1061, Institute of Electrical and Electronics Engineers Inc., 2019 0.74
10 10 0.85
英語(論文から抽出)日本語訳スコア
[21] K. Seeliger, U. Güçlü, L. Ambrogioni, Y. Güçlütürk, and M. A. van Gerven, “Generative adversarial networks for reconstructing natural images from brain activity,” NeuroImage, vol. [21]K Seeliger, U. Güçlü, L. Ambrogioni, Y. Güçlütürk, M. A. van Gerven, “Generative adversarial network for rebuilding natural image from brain activity”,NeuroImage, vol. 0.85
181, pp. 775–785, 2018. 181年、p。 775–785, 2018. 0.78
[22] Y. Lin, J. Li, H. Wang, and S. Jiao, “DCNN-GAN: Reconstructing Realistic Image from fMRI,” tech. Y. Lin, J. Li, H. Wang, S. Jiao, “DCNN-GAN: Reconstructing Realistic Image from fMRI”[22] 技術。 0.87
rep., 2019. [23] G. Gaziv, R. Beliy, N. Granot, A. Hoogi, F. Strappini, T. Golan, and M. Irani, “Self-Supervised Natural Image Reconstruction and Rich Semantic Classification from Brain Activity,” bioRxiv, p. 2020.09.06.284794, 9 2020. 代表。 2019. G. Gaziv, R. Beliy, N. Granot, A. Hoogi, F. Strappini, T. Golan, M. Irani, “Self-Supervised Natural Image Reconstruction and Rich Semantic Classification from Brain Activity”, bioRxiv, p. 2020.09.06.284794, 9 2020. 0.71
[24] R. Beliy, G. Gaziv, A. Hoogi, F. Strappini, T. Golan, and M. Irani, “From voxels to pixels and back: Selfsupervision in natural-image reconstruction from fMRI,” in Advances in Neural Information Processing Systems, 2019. R. Beliy, G. Gaziv, A. Hoogi, F. Strappini, T. Golan, and M. Irani, “From voxels to pixels and back: Selfsupervision in natural-image reconstruction from fMRI” in Progresss in Neural Information Processing Systems, 2019. 0.88
[25] K. Lasinger, R. Ranftl, K. Schindler, and V. Koltun, “Towards robust monocular depth estimation: Mixing K. Lasinger, R. Ranftl, K. Schindler, V. Koltun, “Towards robust monocular depth Estimation: Mixing” 0.79
datasets for zero-shot cross-dataset transfer,” 7 2019. datasets for zero-shot cross-dataset transfer”. 2019年7月7日閲覧。 0.58
[26] T. Horikawa and Y. Kamitani, “Generic decoding of seen and imagined objects using hierarchical visual [26]堀川t.,上谷y.,「階層的視覚を用いた見かけや想像上の物体の遺伝的デコーディング」 0.69
features,” Nature Communications, vol. とnature communications, vol.1は言っている。 0.54
8, p. 15037, 10 2015. 8, pp. 15037, 2015。 0.78
[27] J. Deng, W. Dong, R. Socher, L.-J. J. Deng, W. Dong, R. Socher, L.-J. 0.85
Li, Kai Li, and Li Fei-Fei, “ImageNet: A large-scale hierarchical image database,” in 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. Li, Kai Li, Li Fei-Fei, “ImageNet: A Large-scale hierarchical image database” in 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp。 0.87
248–255, IEEE, 6 2009. 248-255, IEEE, 6。 0.63
[28] R. Zhang, P. Isola, A. [28] R. Zhang, P. Isola, A。 0.92
A. Efros, E. Shechtman, and O. Wang, “The Unreasonable Effectiveness of Deep Features as a Perceptual Metric,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018. A. Efros, E. Shechtman, O. Wang, “The Unreasonable Effectiveness of Deep Features as a Perceptual Metric” in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2018。 0.87
11 11 0.85
                       ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。