論文の概要: Human-Aligned Image Models Improve Visual Decoding from the Brain

• arxiv url: http://arxiv.org/abs/2502.03081v1
• Date: Wed, 05 Feb 2025 11:14:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:19.573380
• Title: Human-Aligned Image Models Improve Visual Decoding from the Brain
• Title（参考訳）: 脳の視覚的デコードを改善する人間の画像モデル
• Authors: Nona Rajabi, Antônio H. Ribeiro, Miguel Vasco, Farzaneh Taleb, Mårten Björkman, Danica Kragic,
• Abstract要約: 我々は,脳の信号を画像にマッピングするために,人間のアライン画像エンコーダを導入する。 我々の経験的結果は、この単純な修正によって画像検索精度が最大21%向上することを示すこの仮説を支持している。
• 参考スコア（独自算出の注目度）: 16.184884942703466
• License:
• Abstract: Decoding visual images from brain activity has significant potential for advancing brain-computer interaction and enhancing the understanding of human perception. Recent approaches align the representation spaces of images and brain activity to enable visual decoding. In this paper, we introduce the use of human-aligned image encoders to map brain signals to images. We hypothesize that these models more effectively capture perceptual attributes associated with the rapid visual stimuli presentations commonly used in visual brain data recording experiments. Our empirical results support this hypothesis, demonstrating that this simple modification improves image retrieval accuracy by up to 21% compared to state-of-the-art methods. Comprehensive experiments confirm consistent performance improvements across diverse EEG architectures, image encoders, alignment methods, participants, and brain imaging modalities.
• Abstract（参考訳）: 脳活動からの視覚イメージの復号は、脳とコンピュータの相互作用を前進させ、人間の知覚の理解を深める大きな可能性を秘めている。 最近のアプローチでは、視覚的デコードを可能にするために、画像の表現空間と脳の活動が一致している。 本稿では,脳の信号を画像にマッピングするために,人間のアライン画像エンコーダを用いた手法を提案する。 我々はこれらのモデルが視覚脳データ記録実験で一般的に用いられる迅速な視覚刺激提示に関連する知覚特性をより効果的に捉えていると仮定する。 我々の経験的結果は、この単純な修正によって、最先端の手法と比較して、画像検索の精度が最大21%向上することを示す、この仮説を支持している。 総合的な実験は、様々な脳波アーキテクチャ、画像エンコーダ、アライメント方法、参加者、脳画像のモダリティで一貫したパフォーマンス改善を確認している。

関連論文リスト

• MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
  MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。 脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。 脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
  論文  参考訳（メタデータ） (2025-02-07T16:01:59Z)
• Decoding Visual Experience and Mapping Semantics through Whole-Brain Analysis Using fMRI Foundation Models [10.615012396285337]
  我々は脳全体の活性化マップを組み込むことで視覚過程の理解を高めるアルゴリズムを開発した。 まず,視覚処理を復号化するための最先端手法と比較し,予測意味精度を43%向上させた。
  論文  参考訳（メタデータ） (2024-11-11T16:51:17Z)
• Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
  人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
  論文  参考訳（メタデータ） (2024-03-29T07:16:34Z)
• Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals [27.92796103924193]
  脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。 我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
  論文  参考訳（メタデータ） (2023-07-27T12:54:16Z)
• Improving visual image reconstruction from human brain activity using latent diffusion models via multiple decoded inputs [2.4366811507669124]
  深層学習と神経科学の統合は、脳活動の分析の改善につながった。 人間の脳活動による視覚体験の再構築は、特に恩恵を受けている分野である。 様々な復号化技術が視覚体験再構成の性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-06-20T13:48:02Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
  機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。 本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
  論文  参考訳（メタデータ） (2022-10-27T22:20:36Z)
• Computational imaging with the human brain [1.614301262383079]
  脳コンピュータインタフェース(BCI)は、人間の能力を増強するための様々な新しい可能性と経路を可能にしている。 本研究では,人間の視覚システムと適応型計算画像システムを組み合わせた隠れシーンのゴーストイメージングを実演する。 この脳とコンピュータの接続は、将来的に人間の視覚の知覚範囲を拡大する、強化された人間の計算の形式を示している。
  論文  参考訳（メタデータ） (2022-10-07T08:40:18Z)
• Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses [68.96380145211093]
  皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。 現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。 我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-27T17:33:19Z)
• Multi-Modal Masked Autoencoders for Medical Vision-and-Language Pre-Training [62.215025958347105]
  マルチモーダルマスク付きオートエンコーダを用いた自己教師型学習パラダイムを提案する。 我々は、ランダムにマスキングされた画像やテキストから欠落したピクセルやトークンを再構成することで、クロスモーダルなドメイン知識を学習する。
  論文  参考訳（メタデータ） (2022-09-15T07:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。