論文の概要: VoxelFormer: Parameter-Efficient Multi-Subject Visual Decoding from fMRI

• arxiv url: http://arxiv.org/abs/2509.09015v1
• Date: Wed, 10 Sep 2025 21:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.159969
• Title: VoxelFormer: Parameter-Efficient Multi-Subject Visual Decoding from fMRI
• Title（参考訳）: VoxelFormer:fMRIによるパラメータ効率の良い多目的視覚デコード
• Authors: Chenqian Le, Yilin Zhao, Nikasadat Emami, Kushagra Yadav, Xujin "Chris" Liu, Xupeng Chen, Yao Wang,
• Abstract要約: VoxelFormerは、fMRIからの視覚的デコードのためのマルチオブジェクトトレーニングを可能にする軽量トランスフォーマーアーキテクチャである。 効率的なボクセル圧縮のためのToken Merging Transformer(ToMer)と、CLIPイメージの埋め込みスペースに整合した固定サイズのニューラル表現を生成するクエリ駆動のQ-Formerを統合している。
• 参考スコア（独自算出の注目度）: 4.3296865400748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in fMRI-based visual decoding have enabled compelling reconstructions of perceived images. However, most approaches rely on subject-specific training, limiting scalability and practical deployment. We introduce \textbf{VoxelFormer}, a lightweight transformer architecture that enables multi-subject training for visual decoding from fMRI. VoxelFormer integrates a Token Merging Transformer (ToMer) for efficient voxel compression and a query-driven Q-Former that produces fixed-size neural representations aligned with the CLIP image embedding space. Evaluated on the 7T Natural Scenes Dataset, VoxelFormer achieves competitive retrieval performance on subjects included during training with significantly fewer parameters than existing methods. These results highlight token merging and query-based transformers as promising strategies for parameter-efficient neural decoding.
• Abstract（参考訳）: 近年のfMRIによる視覚復号化は、知覚画像の説得力のある再構成を可能にしている。 しかしながら、ほとんどのアプローチは、主題固有のトレーニング、スケーラビリティの制限、実践的なデプロイメントに依存しています。 本稿では,fMRIからの視覚的デコードのためのマルチオブジェクトトレーニングを可能にする軽量トランスフォーマアーキテクチャである,‘textbf{VoxelFormer} を紹介する。 VoxelFormerは、効率的なボクセル圧縮のためのToken Merging Transformer(ToMer)と、CLIPイメージ埋め込みスペースに整合した固定サイズのニューラル表現を生成するクエリ駆動のQ-Formerを統合している。 VoxelFormerは、7T Natural Scenesデータセットから評価され、既存の手法に比べてパラメータが大幅に少ないトレーニング対象に対して、競争力のある検索性能を達成する。 これらの結果は、パラメータ効率のよいニューラルデコードのための有望な戦略として、トークンマージとクエリベースのトランスフォーマーを強調している。

関連論文リスト

• DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs [124.52164183968145]
  視覚言語モデル(VLM)の計算負担を軽減する,効率的なトレーニング不要なフレームワークであるDyMUを提案する。 まず、動的トークンマージ(DToMe)は、画像の複雑さに基づいて類似のトークンをマージすることで、視覚トークンの埋め込み数を削減します。 第二に、仮想トークンアンマージ(VTU)は、大きな言語モデル(LLM)の期待トークンシーケンスを、フルシーケンスの注意ダイナミクスを効率的に再構築することでシミュレートする。
  論文  参考訳（メタデータ） (2025-04-23T18:38:18Z)
• Wavelet-Driven Masked Image Modeling: A Path to Efficient Visual Representation [27.576174611043367]
  Masked Image Modeling (MIM)は、下流タスクに適したスケーラブルな視覚表現を学習する能力のおかげで、自己教師付き学習において大きな注目を集めている。 しかし、画像は本質的に冗長な情報を含んでいるため、画素ベースのMIM再構成プロセスはテクスチャなどの細部に過度に集中し、不要なトレーニング時間を延ばすことになる。 本研究では,MIMの学習過程を高速化するために,ウェーブレット変換を効率的な表現学習のツールとして活用する。
  論文  参考訳（メタデータ） (2025-03-02T08:11:26Z)
• Harnessing Massive Satellite Imagery with Efficient Masked Image Modeling [20.479011464156113]
  Masked Image Modeling (MIM)は、リモートセンシング(RS)における基礎的な視覚モデル構築に欠かせない方法となっている。 本稿では,大規模RSデータセットの作成とMIMの効率的なアプローチを特徴とする,RSモデルの事前学習パイプラインを提案する。 本研究では,セマンティックにリッチなパッチトークンを動的にエンコードし,再構成する事前学習手法であるSelectiveMAEを提案する。
  論文  参考訳（メタデータ） (2024-06-17T15:41:57Z)
• See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
  機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。 従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。 本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。 トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
  論文  参考訳（メタデータ） (2024-03-11T01:18:49Z)
• Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis [52.41439725865149]
  クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。 既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。 マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T11:40:40Z)
• Optimizing Vision Transformers for Medical Image Segmentation and Few-Shot Domain Adaptation [11.690799827071606]
  我々はCS-Unet(Convolutional Swin-Unet)トランスフォーマーブロックを提案し、パッチ埋め込み、プロジェクション、フィードフォワードネットワーク、サンプリングおよびスキップ接続に関連する設定を最適化する。 CS-Unetはゼロからトレーニングすることができ、各機能プロセスフェーズにおける畳み込みの優位性を継承する。 実験によると、CS-Unetは事前トレーニングなしで、パラメータが少ない2つの医療用CTおよびMRIデータセットに対して、最先端の他のデータセットを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2022-10-14T19:18:52Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。