論文の概要: Brain-optimized inference improves reconstructions of fMRI brain activity

• arxiv url: http://arxiv.org/abs/2312.07705v1
• Date: Tue, 12 Dec 2023 20:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 17:50:24.383505
• Title: Brain-optimized inference improves reconstructions of fMRI brain activity
• Title（参考訳）: 脳最適化推論はfMRI脳活動の再構築を改善する
• Authors: Reese Kneeland, Jordyn Ojeda, Ghislain St-Yves, Thomas Naselaris
• Abstract要約: 我々は、推論中の脳活動と再構成の整合性を最適化することで、最近の復号法をさらに改善する可能性を評価する。 基本復号法からシード再構成をサンプリングし,脳に最適化された符号化モデルを用いて繰り返し改良する。 脳活動分布にデコードを明示的にアライメントすることで,再現性を大幅に向上できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The release of large datasets and developments in AI have led to dramatic improvements in decoding methods that reconstruct seen images from human brain activity. We evaluate the prospect of further improving recent decoding methods by optimizing for consistency between reconstructions and brain activity during inference. We sample seed reconstructions from a base decoding method, then iteratively refine these reconstructions using a brain-optimized encoding model that maps images to brain activity. At each iteration, we sample a small library of images from an image distribution (a diffusion model) conditioned on a seed reconstruction from the previous iteration. We select those that best approximate the measured brain activity when passed through our encoding model, and use these images for structural guidance during the generation of the small library in the next iteration. We reduce the stochasticity of the image distribution at each iteration, and stop when a criterion on the "width" of the image distribution is met. We show that when this process is applied to recent decoding methods, it outperforms the base decoding method as measured by human raters, a variety of image feature metrics, and alignment to brain activity. These results demonstrate that reconstruction quality can be significantly improved by explicitly aligning decoding distributions to brain activity distributions, even when the seed reconstruction is output from a state-of-the-art decoding algorithm. Interestingly, the rate of refinement varies systematically across visual cortex, with earlier visual areas generally converging more slowly and preferring narrower image distributions, relative to higher-level brain areas. Brain-optimized inference thus offers a succinct and novel method for improving reconstructions and exploring the diversity of representations across visual brain areas.
• Abstract（参考訳）: AIでの大きなデータセットと開発がリリースされ、人間の脳活動から見えるイメージを再構成するデコード手法が劇的に改善された。 本研究では,推定中の再構成と脳活動の整合性を最適化することにより,最近の復号法をさらに改善する可能性を評価する。 画像から脳活動をマッピングする脳最適化符号化モデルを用いて, 基本復号法からシード再構成をサンプリングし, 繰り返し改良した。 各イテレーションで、前回のイテレーションからシード再構築を条件とした画像分散(拡散モデル)から小さな画像ライブラリをサンプリングする。 エンコーディングモデルを通して計測された脳活動に最も近いものを選び、これらの画像を用いて、次のイテレーションで小さなライブラリの生成中に構造的指導を行う。 各イテレーションにおける画像分布の確率性を低減し、画像分布の「幅」の基準が満たされた場合に停止する。 このプロセスが最近の復号法に適用された場合、人間のレーダによって測定された基本復号法、様々な画像特徴量、脳活動のアライメントに優れることを示す。 これらの結果から,最先端のデコードアルゴリズムからシード復元が出力された場合でも,デコード分布と脳活動分布を明示的に一致させることにより,復元品質が著しく向上することが示された。 興味深いことに、精細化の速度は視覚野全体で系統的に異なり、より初期の視覚領域はより緩やかに収束し、より高レベルの脳領域よりも狭い画像分布を好む。 このように、脳最適化推論は、再構成を改善し、視覚脳領域にまたがる表現の多様性を探求するための簡潔で新しい方法を提供する。

関連論文リスト

• BrainBits: How Much of the Brain are Generative Reconstruction Methods Using? [14.116785190624578]
  高い忠実度で再建を行うには、驚くほど少ない情報が脳から得られることが示されています。 方法の生成モデルの先行は、非常に強力であることは明らかであり、それらがデコードした神経信号をはるかに超える出力を生成する。 本稿では,メソッド固有のランダムベースライン,リコンストラクション天井,およびボトルネックサイズの関数としての性能曲線を報告する。
  論文  参考訳（メタデータ） (2024-11-05T03:48:25Z)
• Improving visual image reconstruction from human brain activity using latent diffusion models via multiple decoded inputs [2.4366811507669124]
  深層学習と神経科学の統合は、脳活動の分析の改善につながった。 人間の脳活動による視覚体験の再構築は、特に恩恵を受けている分野である。 様々な復号化技術が視覚体験再構成の性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-06-20T13:48:02Z)
• Second Sight: Using brain-optimized encoding models to align image distributions with human brain activity [0.0]
  本稿では,ボクセルエンコーディングモデルの予測と,対象画像によって誘発される脳活動パターンとの整合性を最大化するために,画像分布を反復的に洗練する新しい再構成手法(Second Sight)を提案する。 提案手法は,各イテレーションのセマンティックコンテンツと低レベル画像の細部を精細化することにより,高品質な再構成の分布に収束することを示す。
  論文  参考訳（メタデータ） (2023-06-01T17:31:07Z)
• Reconstructing seen images from human brain activity via guided stochastic search [0.0]
  条件付き生成拡散モデルを用いて視覚再構成アルゴリズムを拡張し改良する。 視覚野の大部分にまたがるボクセルのヒト脳活動 (7T fMRI) から意味記述子をデコードする。 このプロセスは, セマンティックコンテンツを保存しながら, 低レベル画像の詳細を精細化し, 高品質な再構成に収束することを示す。
  論文  参考訳（メタデータ） (2023-04-30T19:40:01Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Multiscale Voxel Based Decoding For Enhanced Natural Image Reconstruction From Brain Activity [0.22940141855172028]
  本稿では,既存の画像復号化手法と画像復号化手法を融合した画像再構成手法を提案する。 これは、クラス条件生成逆数ネットワークとニューラルスタイル転送を用いて、再構成された画像をデコードされた画像カテゴリに条件付けすることで達成される。 提案手法は,再構成画像のセマンティックな類似性を向上し,画像再構成の一般的な枠組みとして利用できることを示す。
  論文  参考訳（メタデータ） (2022-05-27T18:09:07Z)
• Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
  我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。 我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。 私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
  論文  参考訳（メタデータ） (2021-10-15T13:16:59Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Improved Slice-wise Tumour Detection in Brain MRIs by Computing Dissimilarities between Latent Representations [68.8204255655161]
  磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。 本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。 本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-24T14:02:09Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。