論文の概要: Rethinking Brain Decoding with CLIP: The Role of Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2607.03165v1
• Date: Fri, 03 Jul 2026 10:05:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.540389
• Title: Rethinking Brain Decoding with CLIP: The Role of Adversarial Robustness
• Title（参考訳）: CLIPによる脳のデコード再考 : 対向ロバスト性の役割
• Abstract要約: 敵対的訓練は非破壊的特徴を抑制し、より安定的で知覚的に構造化された表現を促進する。 これらの結果から,目的表現の選択が神経復号性能に影響を及ぼすことが示唆された。
• 参考スコア（独自算出の注目度）: 10.45846795130468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain decoding aims to uncover neural mechanisms by inferring stimulus-related representations from brain signals. In fMRI studies, this is typically achieved by mapping fMRI responses to the latent representations of computational models. Recently, CLIP has become a popular choice for brain decoding due to its rich vision--language embedding space. However, aligning fMRI signals with CLIP representations remains challenging. As CLIP is not explicitly optimized for neural alignment, its representations may capture statistically predictive cues that are only partially reflected in brain activity, limiting decoding performance. In this paper, we investigate whether adversarially robust representations improve neural decoding with CLIP. Adversarial training suppresses non-robust features and promotes more stable, perceptually structured representations, which may better align with brain activity. We evaluate this by fixing the fMRI decoder and varying only the target representation (standard CLIP vs. robust variants) on fMRI-image retrieval and zero-shot classification tasks across NSD and GOD datasets. Empirical results show that this simple change consistently improves task performance and yields stronger alignment across multiple metrics. Attribution analysis further reveals consistently low agreement between standard CLIP and its robust variants, suggesting that adversarial robustness reorganizes feature importance in the visual representation. These findings suggest that the choice of target representation influences neural decoding performance and that adversarial robustness may serve as a useful criterion for brain decoding.
• Abstract（参考訳）: 脳の復号化は、脳信号から刺激に関連する表現を推測することで神経機構を明らかにすることを目的としている。 fMRI研究において、これは一般にfMRI応答を計算モデルの潜在表現にマッピングすることで達成される。 近年、CLIPは、豊かな視覚-言語埋め込み空間のため、脳のデコーディングの一般的な選択肢となっている。 しかし、fMRI信号とCLIP表現の整合は依然として困難である。 CLIPは神経アライメントに明示的に最適化されていないため、その表現は脳の活動に部分的にしか反映されない統計的に予測された手がかりを捉え、デコード性能を制限している。 本稿では,CLIPを用いたニューラルデコーディングにおいて,逆向きに頑健な表現が改善するかどうかを検討する。 敵対的な訓練は、非破壊的な特徴を抑制し、より安定的で知覚的に構造化された表現を促進する。 我々は、fMRIデコーダを固定し、fMRI画像検索におけるターゲット表現(標準CLIP対ロバスト変種)と、NSDおよびGODデータセット間のゼロショット分類タスクのみを変化させることにより、これを評価した。 実証的な結果は、この単純な変更がタスクのパフォーマンスを継続的に改善し、複数のメトリクスをまたいでより強力なアライメントをもたらすことを示している。 属性分析により、標準のCLIPとその頑健な変異との一致が一貫して低くなり、対向的な堅牢性が視覚表現における特徴の重要性を再編成することを示唆している。 これらの結果から, 目的表現の選択は神経復号性能に影響を及ぼし, 対向的堅牢性は脳復号に有用な基準となる可能性が示唆された。

関連論文リスト

• Nonlocal operator learning for fMRI encoding and decoding tasks [1.8933894803085838]
  本研究では,fMRIにおけるタスクの符号化と復号化のためのニューラル積分演算子モデルについて検討する。 2つのオープンソースfMRIデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2026-05-19T18:39:10Z)
• An Intuitionistic Fuzzy Logic Driven UNet architecture: Application to Brain Image segmentation [3.989852248525325]
  直観的ファジィ論理(IF-UNet)を組み込んだ拡張フレームワークUNetを提案する。 このモデルはメンバーシップ、非メンバーシップ、およびヒューイテーションの度合いでデータを処理し、部分体積効果と不確実性に対処する。 実験の結果、IF-UNetは脳画像の不確実性に対処してセグメンテーション品質を改善することが確認された。
  論文  参考訳（メタデータ） (2026-02-04T05:27:35Z)
• Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction [65.67001243986981]
  我々は,スケールワイド自己回帰モデルに基づく粗大なfMRI画像再構成フレームワークであるMindHierを提案する。 MindHierは、拡散ベースのベースラインよりも優れたセマンティック忠実さ、4.67倍高速な推論、より決定論的結果を達成する。
  論文  参考訳（メタデータ） (2025-10-25T15:40:07Z)
• Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations [57.054499278843856]
  機能的磁気共鳴画像(fMRI)解析は、データセットのサイズが限られ、研究間でのドメインの変動が原因で大きな課題に直面している。 コンピュータビジョンにインスパイアされた従来の自己教師付き学習手法は、正と負のサンプルペアに依存することが多い。 本稿では,最近開発された階層関数最大相関アルゴリズム(HFMCA)をグラフ構造fMRIデータに適用することを提案する。
  論文  参考訳（メタデータ） (2025-10-05T12:35:01Z)
• SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning [54.390403684665834]
  視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。 視覚的意味論から神経反応への変換を確率的かつ生物学的に解釈可能な方法でシミュレートする生成フレームワークであるSynBrainを提案する。 実験結果から,SynBrainは被写体特異的視覚-fMRI符号化性能において最先端の手法を超越していることが示された。
  論文  参考訳（メタデータ） (2025-08-14T03:01:05Z)
• Perception Activator: An intuitive and portable framework for brain cognitive exploration [19.851643249367108]
  干渉条件としてfMRI表現を用いる実験フレームワークを開発した。 オブジェクト検出とインスタンス分割タスクにおける下流性能と中間的特徴の変化をfMRI情報の有無で比較した。 以上の結果から,fMRIには多目的セマンティック・キューが豊富に含まれていることが証明された。
  論文  参考訳（メタデータ） (2025-07-03T04:46:48Z)
• BrainChat: Decoding Semantic Information from fMRI using Vision-language Pretrained Models [0.0]
  本稿では,脳活動からのセマンティック情報デコーディングタスクの高速化を目的とした生成フレームワークであるBrainChatを提案する。 BrainChatはfMRI質問応答とfMRIキャプションを実装している。 BrainChatは非常にフレキシブルで、画像データなしで高いパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2024-06-10T12:06:15Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• Learning Personal Representations from fMRIby Predicting Neurofeedback Performance [52.77024349608834]
  機能的MRI(fMRI)によって導かれる自己神経変調タスクを行う個人のための個人表現を学習するためのディープニューラルネットワーク手法を提案する。 この表現は、直近のfMRIフレームが与えられた次のfMRIフレームにおける扁桃体活動を予測する自己教師型リカレントニューラルネットワークによって学習され、学習された個々の表現に条件付けされる。
  論文  参考訳（メタデータ） (2021-12-06T10:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。