論文の概要: TROI: Cross-Subject Pretraining with Sparse Voxel Selection for Enhanced fMRI Visual Decoding

• arxiv url: http://arxiv.org/abs/2502.00412v1
• Date: Sat, 01 Feb 2025 12:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:59:45.599258
• Title: TROI: Cross-Subject Pretraining with Sparse Voxel Selection for Enhanced fMRI Visual Decoding
• Title（参考訳）: TROI:fMRI画像復号化のためのスパースボクセル選択によるクロスオブジェクト事前学習
• Authors: Ziyu Wang, Tengyu Pan, Zhenyu Li, Wu Ji, Li Xiuxing, Jianyong Wang,
• Abstract要約: fMRI(機能的磁気共鳴イメージング)視覚復号には、視覚刺激によって引き起こされる脳信号から元の画像を復号する。 本研究は, クロスオブジェクトfMRIデコードタスクのための新しい2段階データ駆動ROIラベル法であるTROIを提案する。 まず,スパースマスクトレーニングと低域通過フィルタリングを組み合わせたボクセル選択手法を提案する。 第2段階では、下流タスクの入力層を微調整するために学習率の巻き戻し戦略を適用する。
• 参考スコア（独自算出の注目度）: 6.135627039584744
• License:
• Abstract: fMRI (functional Magnetic Resonance Imaging) visual decoding involves decoding the original image from brain signals elicited by visual stimuli. This often relies on manually labeled ROIs (Regions of Interest) to select brain voxels. However, these ROIs can contain redundant information and noise, reducing decoding performance. Additionally, the lack of automated ROI labeling methods hinders the practical application of fMRI visual decoding technology, especially for new subjects. This work presents TROI (Trainable Region of Interest), a novel two-stage, data-driven ROI labeling method for cross-subject fMRI decoding tasks, particularly when subject samples are limited. TROI leverages labeled ROIs in the dataset to pretrain an image decoding backbone on a cross-subject dataset, enabling efficient optimization of the input layer for new subjects without retraining the entire model from scratch. In the first stage, we introduce a voxel selection method that combines sparse mask training and low-pass filtering to quickly generate the voxel mask and determine input layer dimensions. In the second stage, we apply a learning rate rewinding strategy to fine-tune the input layer for downstream tasks. Experimental results on the same small sample dataset as the baseline method for brain visual retrieval and reconstruction tasks show that our voxel selection method surpasses the state-of-the-art method MindEye2 with an annotated ROI mask.
• Abstract（参考訳）: fMRI(Function Magnetic Resonance Imaging)視覚デコーディングは、視覚刺激によって引き起こされる脳信号から元のイメージをデコードする。 これはしばしば、手動でラベル付けされたROI(Regions of Interest)を使って脳のボクセルを選択する。 しかし、これらのROIには冗長な情報とノイズが含まれ、デコード性能が低下する。 さらに、自動ROIラベリング手法の欠如は、特に新しい被験者に対して、fMRI視覚復号技術の実用化を妨げている。 本研究は、新しい2段階データ駆動型ROIラベル法であるTROI(Trainable Region of Interest)を提案する。 TROIはデータセット内のラベル付きROIを活用して、クロスオブジェクトデータセット上の画像デコードバックボーンを事前トレーニングする。 第1段階では、スパースマスクトレーニングとローパスフィルタリングを組み合わせたボクセル選択法を導入し、ボクセルマスクを迅速に生成し、入力層寸法を決定する。 第2段階では、下流タスクの入力層を微調整するために学習率の巻き戻し戦略を適用する。 脳視覚検索と再構成タスクのベースライン法と同一のサンプルデータセットによる実験結果から,我々のボクセル選択法は,注釈付きROIマスクを用いた最先端のMindEye2を超越していることがわかった。

関連論文リスト

• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
  機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。 従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。 本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。 トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
  論文  参考訳（メタデータ） (2024-03-11T01:18:49Z)
• Learn From Orientation Prior for Radiograph Super-Resolution: Orientation Operator Transformer [8.009052363001903]
  高解像度X線画像は骨格筋関連疾患の早期診断と治療において重要な役割を担っている。 放射線画像場に単一画像超解像(SISR)モデルを導入することにより,画質の向上が期待できる。 従来の画像パイプラインは、色空間と画素間パターンからSRとdenoisingの混合マッピングを学習することができる。
  論文  参考訳（メタデータ） (2023-12-27T07:56:24Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• TransMRSR: Transformer-based Self-Distilled Generative Prior for Brain MRI Super-Resolution [18.201980634509553]
  本稿では,脳MRI SR のための新しい2段階ネットワーク TransMRSR を提案する。 TransMRSRは、浅部局所特徴抽出、深部非局所特徴キャプチャ、HR画像再構成の3つのモジュールで構成されている。 本手法は,パブリックデータセットとプライベートデータセットの両方において,他のSSIR手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-11T12:41:23Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
  我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。 提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
  論文  参考訳（メタデータ） (2022-07-03T11:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。