論文の概要: Automating the Diagnosis of Human Vision Disorders by Cross-modal 3D Generation

• arxiv url: http://arxiv.org/abs/2405.15239v1
• Date: Fri, 24 May 2024 06:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 16:00:17.673233
• Title: Automating the Diagnosis of Human Vision Disorders by Cross-modal 3D Generation
• Title（参考訳）: クロスモーダル3Dジェネレーションによる人間の視覚障害の診断の自動化
• Authors: Li Zhang, Yuankun Yang, Ziyang Xie, Zhiyuan Yuan, Jianfeng Feng, Xiatian Zhu, Yu-Gang Jiang,
• Abstract要約: 我々は、fMRIを視覚的に可視な3次元視覚にデコードするためにAIがどのように使用できるかを示し、fMRIデータの自動臨床分析を可能にする。 我々は、被験者のfMRIデータを入力として利用する、新しい3Dシーン表現学習手法であるBrain3Dを設計する。 非専門的診断は、脳3Dが人間の視覚系内のV1、V2、V3、V4、中間側頭葉(MTL)などの障害のある脳領域を正常に識別できることを示している。
• 参考スコア（独自算出の注目度）: 76.41771117405973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the hidden mechanisms behind human's visual perception is a fundamental quest in neuroscience, underpins a wide variety of critical applications, e.g. clinical diagnosis. To that end, investigating into the neural responses of human mind activities, such as functional Magnetic Resonance Imaging (fMRI), has been a significant research vehicle. However, analyzing fMRI signals is challenging, costly, daunting, and demanding for professional training. Despite remarkable progress in artificial intelligence (AI) based fMRI analysis, existing solutions are limited and far away from being clinically meaningful. In this context, we leap forward to demonstrate how AI can go beyond the current state of the art by decoding fMRI into visually plausible 3D visuals, enabling automatic clinical analysis of fMRI data, even without healthcare professionals. Innovationally, we reformulate the task of analyzing fMRI data as a conditional 3D scene reconstruction problem. We design a novel cross-modal 3D scene representation learning method, Brain3D, that takes as input the fMRI data of a subject who was presented with a 2D object image, and yields as output the corresponding 3D object visuals. Importantly, we show that in simulated scenarios our AI agent captures the distinct functionalities of each region of human vision system as well as their intricate interplay relationships, aligning remarkably with the established discoveries of neuroscience. Non-expert diagnosis indicate that Brain3D can successfully identify the disordered brain regions, such as V1, V2, V3, V4, and the medial temporal lobe (MTL) within the human visual system. We also present results in cross-modal 3D visual construction setting, showcasing the perception quality of our 3D scene generation.
• Abstract（参考訳）: 人間の視覚知覚の背後にある隠されたメカニズムを理解することは、神経科学の基本的な探求であり、様々な重要な応用、例えば臨床診断の基盤となっている。 そのために、機能的磁気共鳴イメージング(fMRI)のような人間の心活動の神経反応を調べることは、重要な研究車両である。 しかし、fMRI信号の解析は困難であり、コストがかかり、おそろしく、専門的な訓練を必要としている。 人工知能(AI)に基づくfMRI分析の顕著な進歩にもかかわらず、既存のソリューションは限定的で、臨床的に意味のあるものではない。 この文脈では、fMRIを視覚的に可視な3Dヴィジュアライズにデコードすることで、医療専門家がいなくても、fMRIデータの自動臨床分析を可能にすることで、AIが現在の最先端を超えることができることを実証する。 本研究では,fMRIデータを条件付き3次元シーン再構成問題として解析するタスクを再構築する。 本研究では,2Dオブジェクトイメージを提示した被験者のfMRIデータを入力として入力し,対応する3Dオブジェクトの視覚を出力する,新たな3Dシーン表現学習手法であるBrain3Dを設計する。 重要なことは、私たちのAIエージェントが人間の視覚システムの各領域の異なる機能と、それらの複雑な相互作用関係をシミュレートしたシナリオで捉え、神経科学の確立した発見と著しく一致していることである。 非専門的診断は、脳3Dが人間の視覚系内のV1、V2、V3、V4、中間側頭葉(MTL)などの障害のある脳領域を正常に識別できることを示している。 また、3次元シーン生成の知覚品質を示す3次元視覚構成のクロスモーダルな設定の結果も提示する。

関連論文リスト

• Neuro-3D: Towards 3D Visual Decoding from EEG Signals [49.502364730056044]
  脳波信号から3次元視覚知覚を復号する新しい神経科学タスクを導入する。 まず、ビデオと画像の両方でレンダリングされた72の3Dオブジェクトのカテゴリを閲覧する12人の被験者から、マルチモーダル分析データと脳波記録を含むデータセットであるEEG-3Dを提示する。 脳波信号に基づく3次元視覚デコーディングフレームワークNeuro-3Dを提案する。
  論文  参考訳（メタデータ） (2024-11-19T05:52:17Z)
• fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction [50.534007259536715]
  我々は15人の参加者のデータを含むfMRI-3Dデータセットを提示し、合計4768個の3Dオブジェクトを展示する。 我々は,fMRI信号から3次元視覚情報を復号化するための新しいフレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2024-09-17T16:13:59Z)
• BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
  本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。 遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
  論文  参考訳（メタデータ） (2024-04-30T10:53:30Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
  本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。 この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-11-30T22:39:23Z)
• Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
  2相fMRI表現学習フレームワークを提案する。 第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。 第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
  論文  参考訳（メタデータ） (2023-05-26T19:16:23Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。