論文の概要: Second Sight: Using brain-optimized encoding models to align image
distributions with human brain activity
- arxiv url: http://arxiv.org/abs/2306.00927v1
- Date: Thu, 1 Jun 2023 17:31:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 14:19:49.622102
- Title: Second Sight: Using brain-optimized encoding models to align image
distributions with human brain activity
- Title（参考訳）: 第2の視点:脳に最適化された符号化モデルを用いて画像分布と人間の脳活動の整合性
- Authors: Reese Kneeland, Jordyn Ojeda, Ghislain St-Yves, Thomas Naselaris
- Abstract要約: 本稿では,ボクセルエンコーディングモデルの予測と,対象画像によって誘発される脳活動パターンとの整合性を最大化するために,画像分布を反復的に洗練する新しい再構成手法(Second Sight)を提案する。
提案手法は,各イテレーションのセマンティックコンテンツと低レベル画像の細部を精細化することにより,高品質な再構成の分布に収束することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Two recent developments have accelerated progress in image reconstruction
from human brain activity: large datasets that offer samples of brain activity
in response to many thousands of natural scenes, and the open-sourcing of
powerful stochastic image-generators that accept both low- and high-level
guidance. Most work in this space has focused on obtaining point estimates of
the target image, with the ultimate goal of approximating literal pixel-wise
reconstructions of target images from the brain activity patterns they evoke.
This emphasis belies the fact that there is always a family of images that are
equally compatible with any evoked brain activity pattern, and the fact that
many image-generators are inherently stochastic and do not by themselves offer
a method for selecting the single best reconstruction from among the samples
they generate. We introduce a novel reconstruction procedure (Second Sight)
that iteratively refines an image distribution to explicitly maximize the
alignment between the predictions of a voxel-wise encoding model and the brain
activity patterns evoked by any target image. We show that our process
converges on a distribution of high-quality reconstructions by refining both
semantic content and low-level image details across iterations. Images sampled
from these converged image distributions are competitive with state-of-the-art
reconstruction algorithms. Interestingly, the time-to-convergence varies
systematically across visual cortex, with earlier visual areas generally taking
longer and converging on narrower image distributions, relative to higher-level
brain areas. Second Sight thus offers a succinct and novel method for exploring
the diversity of representations across visual brain areas.
- Abstract（参考訳）: 近年の2つの開発は、人間の脳活動からの画像再構成の進展を加速させている: 何千もの自然シーンに反応して脳活動のサンプルを提供する大規模なデータセットと、低レベルと高レベルの両方のガイダンスを受け入れる強力な確率的画像生成者のオープンソース化である。
この領域でのほとんどの作業は、脳活動パターンからターゲット画像の文字通りのピクセル単位での再構成を近似するという最終的な目標を持って、ターゲット画像のポイント推定の獲得に重点を置いている。
この強調は、誘発された脳の活動パターンに等しく適合する画像群が常に存在するという事実と、多くの画像生成者が本質的に確率的であり、それ自体が生成したサンプルの中から単一の最高の再構築を選択する方法を提供していないという事実である。
本稿では,ボクセルエンコーディングモデルの予測と,対象画像によって誘発される脳活動パターンとの整合性を明確化するために,画像分布を反復的に洗練する新しい再構成手法(Second Sight)を提案する。
提案手法は, セマンティクスコンテンツと低レベルの画像詳細の両方を反復で精査することにより, 高品質な再構成の分布に収束することを示す。
これらの収束画像分布からサンプリングされた画像は、最先端の再構成アルゴリズムと競合する。
興味深いことに、時間からコンバージェンスは視覚野全体で系統的に異なり、より高レベルの脳領域に比べて、より狭い画像分布に通常より長い時間をかけて収束する。
そこでSecond Sightは、視覚脳領域における表現の多様性を探索するための簡潔で新しい方法を提供する。
関連論文リスト
- FreeCompose: Generic Zero-Shot Image Composition with Diffusion Prior [50.0535198082903]
我々は,複数の入力イメージを単一のコヒーレントなイメージに統合する,新しい画像合成手法を提案する。
本稿では, 大規模事前学習拡散モデルに内在する強力な生成的前駆体を利用して, 汎用画像合成を実現する可能性を示す。
論文 参考訳（メタデータ） (2024-07-06T03:35:43Z) - Brain-optimized inference improves reconstructions of fMRI brain
activity [0.0]
我々は、推論中の脳活動と再構成の整合性を最適化することで、最近の復号法をさらに改善する可能性を評価する。
基本復号法からシード再構成をサンプリングし,脳に最適化された符号化モデルを用いて繰り返し改良する。
脳活動分布にデコードを明示的にアライメントすることで,再現性を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2023-12-12T20:08:59Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-05-19T09:57:19Z) - Reconstructing seen images from human brain activity via guided
stochastic search [0.0]
条件付き生成拡散モデルを用いて視覚再構成アルゴリズムを拡張し改良する。
視覚野の大部分にまたがるボクセルのヒト脳活動 (7T fMRI) から意味記述子をデコードする。
このプロセスは, セマンティックコンテンツを保存しながら, 低レベル画像の詳細を精細化し, 高品質な再構成に収束することを示す。
論文 参考訳（メタデータ） (2023-04-30T19:40:01Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳（メタデータ） (2023-03-24T03:32:02Z) - Multiscale Voxel Based Decoding For Enhanced Natural Image
Reconstruction From Brain Activity [0.22940141855172028]
本稿では,既存の画像復号化手法と画像復号化手法を融合した画像再構成手法を提案する。
これは、クラス条件生成逆数ネットワークとニューラルスタイル転送を用いて、再構成された画像をデコードされた画像カテゴリに条件付けすることで達成される。
提案手法は,再構成画像のセマンティックな類似性を向上し,画像再構成の一般的な枠組みとして利用できることを示す。
論文 参考訳（メタデータ） (2022-05-27T18:09:07Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-04-19T17:59:45Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳（メタデータ） (2021-10-15T13:16:59Z) - Learned Spatial Representations for Few-shot Talking-Head Synthesis [68.3787368024951]
複数発話頭合成のための新しいアプローチを提案する。
この異方性表現は,従来の手法よりも大幅に改善されることを示す。
論文 参考訳（メタデータ） (2021-04-29T17:59:42Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。