論文の概要: Reconstructing seen images from human brain activity via guided stochastic search

• arxiv url: http://arxiv.org/abs/2305.00556v1
• Date: Sun, 30 Apr 2023 19:40:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 14:36:35.900908
• Title: Reconstructing seen images from human brain activity via guided stochastic search
• Title（参考訳）: ガイド付き確率探索による人間の脳活動からの画像再構成
• Authors: Reese Kneeland (1), Jordyn Ojeda (1), Ghislain St-Yves (2), Thomas Naselaris (2) ((1) Department of Computer Science, University of Minnesota, (2) Department of Neuroscience, University of Minnesota)
• Abstract要約: 条件付き生成拡散モデルを用いて視覚再構成アルゴリズムを拡張し改良する。 視覚野の大部分にまたがるボクセルのヒト脳活動 (7T fMRI) から意味記述子をデコードする。 このプロセスは, セマンティックコンテンツを保存しながら, 低レベル画像の詳細を精細化し, 高品質な再構成に収束することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Visual reconstruction algorithms are an interpretive tool that map brain activity to pixels. Past reconstruction algorithms employed brute-force search through a massive library to select candidate images that, when passed through an encoding model, accurately predict brain activity. Here, we use conditional generative diffusion models to extend and improve this search-based strategy. We decode a semantic descriptor from human brain activity (7T fMRI) in voxels across most of visual cortex, then use a diffusion model to sample a small library of images conditioned on this descriptor. We pass each sample through an encoding model, select the images that best predict brain activity, and then use these images to seed another library. We show that this process converges on high-quality reconstructions by refining low-level image details while preserving semantic content across iterations. Interestingly, the time-to-convergence differs systematically across visual cortex, suggesting a succinct new way to measure the diversity of representations across visual brain areas.
• Abstract（参考訳）: 視覚再構成アルゴリズムは、脳活動をピクセルにマッピングする解釈ツールである。 過去のレコンストラクションアルゴリズムでは、大量のライブラリを通じてブルートフォースサーチを使用して、エンコーディングモデルを通過する際に脳活動を正確に予測する候補画像を選択する。 ここでは,条件付き生成拡散モデルを用いて,この探索に基づく戦略を拡張し,改善する。 視覚野の大部分にわたるボクセルのヒト脳活動(7T fMRI)から意味記述子をデコードし、拡散モデルを用いて、この記述子に条件付けられた画像の小さなライブラリーをサンプリングする。 各サンプルをエンコーディングモデルに通し、最も脳活動を予測するイメージを選択し、これらのイメージを使用して別のライブラリをシードします。 このプロセスは、イテレーション間で意味的コンテンツを保存しながら、低レベルな画像詳細を洗練することで、高品質な再構築に収束する。 興味深いことに、time-to-convergenceは視覚野全体で系統的に異なるため、視覚領域における表現の多様性を測定するための簡潔な新しい方法が示唆されている。

関連論文リスト

• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
  オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。 最初はFlyTracingという名前のデータセットを構築しました。 本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-05T19:45:12Z)
• Brain-optimized inference improves reconstructions of fMRI brain activity [0.0]
  我々は、推論中の脳活動と再構成の整合性を最適化することで、最近の復号法をさらに改善する可能性を評価する。 基本復号法からシード再構成をサンプリングし,脳に最適化された符号化モデルを用いて繰り返し改良する。 脳活動分布にデコードを明示的にアライメントすることで,再現性を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-12-12T20:08:59Z)
• UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity [2.666777614876322]
  人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。 我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。 UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
  論文  参考訳（メタデータ） (2023-08-14T19:49:29Z)
• Second Sight: Using brain-optimized encoding models to align image distributions with human brain activity [0.0]
  本稿では,ボクセルエンコーディングモデルの予測と,対象画像によって誘発される脳活動パターンとの整合性を最大化するために,画像分布を反復的に洗練する新しい再構成手法(Second Sight)を提案する。 提案手法は,各イテレーションのセマンティックコンテンツと低レベル画像の細部を精細化することにより,高品質な再構成の分布に収束することを示す。
  論文  参考訳（メタデータ） (2023-06-01T17:31:07Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli [0.29005223064604074]
  本稿では,意味的・文脈的類似性にも依存する脳復号法を提案する。 我々は、自然視のfMRIデータセットを使用し、人間の視覚におけるボトムアップとトップダウンの両方のプロセスの存在にインスパイアされたディープラーニングデコードパイプラインを作成します。 視覚刺激の再現は, それまでの文献において, 本来の内容とセマンティックレベルで非常によく一致し, 芸術の状態を超越している。
  論文  参考訳（メタデータ） (2022-12-13T16:54:08Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Improved Slice-wise Tumour Detection in Brain MRIs by Computing Dissimilarities between Latent Representations [68.8204255655161]
  磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。 本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。 本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-24T14:02:09Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。