論文の概要: FlatClip: A Geometry-Aware Surface-Level Baseline for fMRI Representation Learning
- arxiv url: http://arxiv.org/abs/2609.31204v1
- Date: Fri, 25 Sep 2026 12:42:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.397166
- Title: FlatClip: A Geometry-Aware Surface-Level Baseline for fMRI Representation Learning
- Title(参考訳): FlatClip:fMRI表現学習のための幾何学的表面レベルベースライン
- Abstract要約: 凍結エンコーダの表面レベルベースラインであるFlatClipを導入する。
視覚的fMRIデコーディングでは、視覚的またはNSDによって提供されるタスク活性大脳皮質への入力を制限することで、性能が向上する。
これらの結果は、ROIモデルとボクセルモデルの間の実践的な中間基底線として、表面レベルのフラットマップシーケンスを配置する。
- 参考スコア(独自算出の注目度): 11.000850721199761
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent fMRI foundation models differ substantially in the spatial scale at which they represent brain activity. ROI- and connectivity-based models are efficient but coarse, whereas voxel-level models preserve fine-grained spatial structure but require specialized 3D/4D architectures and costly fMRI-specific pretraining. We ask how effectively an image-pretrained encoder can reuse the spatial organization of cortical activity. Motivated by evidence that macroscale brain activity is strongly constrained by brain geometry, we introduce FlatClip, a frozen-encoder surface-level baseline that renders cortical activity as geometry-aware flatmap sequences and reuses a frozen SigLIP2 image encoder with only a lightweight downstream probe. Across resting-state benchmarks, FlatClip serves as a competitive middle-ground representation, outperforming ROI-level baselines on HCP and ADNI tasks while remaining weaker on PPMI and below the strongest voxel-level models overall. On visual-fMRI decoding, restricting the input to visual or NSD-provided task-active cortex improves performance, highlighting the value of task-relevant cortical coverage. Spatial perturbation controls reduce the predictive performance of flatmap features under both retrained and fixed readouts, and anatomy-linked arrangements consistently outperform vertex permutations across three colormaps. Together, these results position surface-level flatmap sequences as a practical middle-ground baseline between ROI and voxel models, and support the utility of anatomy-linked spatial organization for reusing image-pretrained features. Code is available at https://github.com/OneMore1/FlatClip.
- Abstract(参考訳): 最近のfMRI基礎モデルは、脳活動を表す空間スケールで大きく異なる。
ROIおよび接続性に基づくモデルは効率的だが粗いが、ボクセルレベルのモデルは微細な空間構造を保ちながら、特殊な3D/4Dアーキテクチャと高価なfMRI固有の事前訓練を必要とする。
画像予測エンコーダは,皮質活動の空間的構造をいかに効果的に再利用できるかを問う。
マクロ脳活動が脳形状に強く拘束されているという証拠に触発されたFlatClipは、凍結エンコーダの表面レベルベースラインで、皮質活動を幾何学的に認識されたフラットマップシーケンスとして描画し、軽量な下流プローブのみで凍結したSigLIP2イメージエンコーダを再利用する。
休息状態のベンチマーク全体を通じて、FlatClipは競争力のある中盤表現として機能し、HCPとADNIタスクのROIレベルのベースラインを上回り、PPMIでは弱く、全体的なボクセルレベルのモデルより下位にある。
視覚的fMRIデコーディングでは、視覚的またはNSDによって提供されたタスク活性大脳皮質への入力を制限することにより、タスク関連皮質カバレッジの価値が強調される。
空間摂動制御は、再学習と固定された読み出しの両方の下でフラットマップ特徴の予測性能を低下させ、解剖学的にリンクされたアレンジメントは、3つのカラーマップの頂点置換を一貫して上回る。
これらの結果から,ROIモデルとボクセルモデルの間の実践的な中間基底線として表層平面図列が位置づけられ,画像に制約のある特徴を再利用するための解剖学的結合型空間組織の有用性が示された。
コードはhttps://github.com/OneMore1/FlatClip.comで入手できる。
関連論文リスト
- Seeing the imagined: a latent functional alignment in visual imagery decoding from fMRI data [0.0]
本研究では,イメージライ-NSDベンチマークを用いて,現在最先端の認識デコーダを用いて,想像コンテンツを再構成する方法について検討する。
本稿では,画像誘発活動から事前学習したモデルの条件空間へマッピングする潜在機能アライメント手法を提案する。
一致した画像認識の監督を限定的に緩和するために,検索に基づく拡張戦略を導入する。
論文 参考訳(メタデータ) (2026-04-15T16:31:57Z) - Hi-DREAM: Brain Inspired Hierarchical Diffusion for fMRI Reconstruction via ROI Encoder and visuAl Mapping [5.019958634393433]
Hi-DREAMは、皮質組織を明確にする条件拡散フレームワークである。
軽量で深度にマッチしたControlNetは、デノイング中にスケール固有のヒントを注入する。
実験により、Hi-DREAMは高レベルのセマンティックメトリクスで最先端のパフォーマンスを得ることができた。
論文 参考訳(メタデータ) (2025-11-14T16:05:44Z) - Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction [65.67001243986981]
我々は,スケールワイド自己回帰モデルに基づく粗大なfMRI画像再構成フレームワークであるMindHierを提案する。
MindHierは、拡散ベースのベースラインよりも優れたセマンティック忠実さ、4.67倍高速な推論、より決定論的結果を達成する。
論文 参考訳(メタデータ) (2025-10-25T15:40:07Z) - RPCANet++: Deep Interpretable Robust PCA for Sparse Object Segmentation [51.37553739930992]
RPCANet++は、RPCAの解釈可能性と効率的なディープアーキテクチャを融合したスパースオブジェクトセグメンテーションフレームワークである。
我々のアプローチは、緩やかなRPCAモデルを背景近似モジュール(BAM)、対象抽出モジュール(OEM)、画像復元モジュール(IRM)からなる構造化ネットワークに展開する。
さまざまなデータセットの実験では、RPCANet++がさまざまなイメージングシナリオの下で最先端のパフォーマンスを達成することが示されている。
論文 参考訳(メタデータ) (2025-08-06T08:19:37Z) - Sparse Autoencoders Bridge The Deep Learning Model and The Brain [18.058358411706052]
SAE-BrainMapは、ディープラーニングの視覚モデル表現とボクセルレベルのfMRI応答を一致させる新しいフレームワークである。
ViT-B/16$_CLIP$は、初期層で高レベルなセマンティック情報を生成するために低レベルな情報を利用する傾向がある。
我々の結果は、ディープニューラルネットワークと人間の視覚野の間に直接、下流でタスクのない橋を架け、モデル解釈可能性に関する新たな洞察を提供する。
論文 参考訳(メタデータ) (2025-06-10T06:35:14Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳(メタデータ) (2023-06-28T22:36:44Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳(メタデータ) (2022-12-17T15:05:25Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-09-19T09:43:19Z) - A persistent homology-based topological loss for CNN-based multi-class
segmentation of CMR [5.898114915426535]
心臓磁気共鳴(CMR)画像のマルチクラスセグメンテーションは、既知の構造と構成を持つ解剖学的構成要素にデータの分離を求める。
最も一般的なCNNベースの手法は、解剖を特徴付ける空間的に拡張された特徴を無視した画素ワイズ損失関数を用いて最適化されている。
これらのアプローチは、全てのクラスラベルとクラスラベルペアのリッチなトポロジカル記述を構築することで、マルチクラスセグメンテーションのタスクに拡張する。
論文 参考訳(メタデータ) (2021-07-27T09:21:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。