論文の概要: From "What-If" to "What-Is": Counterfactual Thinking-Inspired Semantic Alignment for Visual Brain Decoding

• arxiv url: http://arxiv.org/abs/2608.15163v1
• Date: Sat, 15 Aug 2026 10:40:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.214932
• Title: From "What-If" to "What-Is": Counterfactual Thinking-Inspired Semantic Alignment for Visual Brain Decoding
• Title（参考訳）: What-If"から"What-Is"へ:視覚脳復号のための対実的思考にインスパイアされたセマンティックアライメント
• Abstract要約: 視覚脳のデコーディングは、fMRIのような神経計測から知覚される視覚内容を再構成する。 視覚脳復号のための対実的セマンティックアライメントフレームワークであるConceptAlignを提案する。 本稿では,基本的識別性,対実的意味判断,表現幾何学を網羅した3段階意味評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.204310001308077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual brain decoding reconstructs visual content perceived by a person from neural measurements such as fMRI, providing a computational approach to studying how visual information is represented in the brain. Recent multimodal representations and diffusion priors have improved reconstruction realism. However, visually plausible reconstructions may contain incorrect objects, attributes, or relations because a strong generative prior can complete content not sufficiently specified by the decoded representation. Conventional reconstruction metrics mainly assess the final image and may therefore obscure such semantic errors. We propose ConceptAlign, a counterfactual semantic alignment framework for visual brain decoding. ConceptAlign pools decoded visual tokens and projects them into a frozen text-embedding space, aligning the representation with the ground-truth caption while separating it from scene-preserving near-miss alternatives. Generated offline by an LLM, these alternatives modify one critical object, attribute, or relation while retaining the scene. A margin-based objective learns fine-grained semantic boundaries between the observed stimulus and plausible but incorrect interpretations without requiring LLM calls during inference. We introduce a systematic three-level semantic evaluation framework covering foundational discriminability, counterfactual description discrimination, and representational geometry. Experiments on the Natural Scenes Dataset show that ConceptAlign improves reconstruction measures, counterfactual semantic discrimination, and representational alignment over the MindEye2 backbone. Matched negative-source ablations, independent LLM and human-written alternatives, and human evaluation support the effectiveness and robustness of the supervision, with favorable patterns in fine-grained conflicts, limited-data decoding, and cross-subject structure.
• Abstract（参考訳）: 視覚脳復号は、fMRIなどの神経計測から知覚される視覚コンテンツを再構成し、脳内の視覚情報がどのように表現されるかを研究するための計算的アプローチを提供する。 最近のマルチモーダル表現と拡散先行は、再構成リアリズムを改善した。 しかしながら、視覚的にもっともらしい再構成は、デコードされた表現によって十分に特定されていないコンテンツを、強力な生成前者が完成できるため、誤った対象、属性、あるいは関係を含む可能性がある。 従来の再建基準は主に最終画像の評価であり、したがってそのような意味的誤りを曖昧にすることができる。 視覚脳復号のための対実的セマンティックアライメントフレームワークであるConceptAlignを提案する。 ConceptAlignプールは、視覚的トークンをデコードし、それらを凍結したテキスト埋め込みスペースに投影し、その表現と接頭辞のキャプションを整列させ、シーン保存のニアミス代替品と分離する。 LLMによってオフラインで生成されるこれらの代替手段は、シーンを保持しながら1つの重要なオブジェクト、属性、関係を変更する。 マージンに基づく目的は、観測された刺激と、推論中にLLMの呼び出しを必要とせずに、不正確な解釈の間のきめ細かい意味境界を学習する。 本稿では,基本的識別性,対実的記述識別,表現幾何学を網羅した3段階意味評価フレームワークを提案する。 Natural Scenes Datasetの実験では、ConceptAlignがMindEye2のバックボーンの再構築対策、偽造的意味識別、表現的アライメントを改善していることが示されている。 一致したネガティブソースの短縮、独立したLCM、人間による代替案、そして人間の評価は、きめ細かい衝突、限定データデコーディング、およびクロスオブジェクト構造において好ましいパターンで、監督の有効性と堅牢性を支持している。

関連論文リスト

• MUtE: A Dual Framework for Concept Erasure and Counterfactual Interventions [0.0]
  表現から概念固有の情報を消去することは、バイアスを緩和したり、モデル決定を解釈するのに有用であることが証明されている。 我々は、決定論的、二重対実写像を自然に誘導する新しい消去関数のクラスを導出するために、概念消去の最適境界を再考する。
  論文  参考訳（メタデータ） (2026-09-10T08:47:11Z)
• Are You Thinking What I am Thinking? : Examining Conceptual Separation in Neural Architectures [0.0]
  畳み込みニューラルネットワーク(CNN)と大規模言語モデル(LLM)の概念的組織について検討する。 CNNでは、慣れ親しんだImageNetの概念は一貫性があり、セマンティックに順序づけられた表現を形成するが、これは目に見えない概念を弱める。 LLMでは、明確に区別されたドメインが適切に分離され、関連するドメインがより深く移動し、あいまいなトピックの区別が崩壊する。 これらの結果は、概念的分離は、出力精度だけでは不可能な構造を明らかにし、モデルがいかに頑健に、そのモデルを識別するよう要求された概念を表すかの有用な診断として役立ちうることを示唆している。
  論文  参考訳（メタデータ） (2026-09-01T05:53:05Z)
• Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence [7.7737164302813895]
  MD-SigLIPは、脳の埋め込みとテキストの埋め込みを共有セマンティック空間に合わせることを目的としており、検索ベースのデコードを可能にする。 この定式化は、ニューラル表現と言語意味論の対応を明示的なモデリングを可能にする。 実験では、全語彙とサブセット評価設定の両方で、最先端の検索性能を示す。
  論文  参考訳（メタデータ） (2026-08-17T14:47:15Z)
• CodePercept: Code-Grounded Visual STEM Perception for MLLMs [53.60065070334941]
  本研究は,強力な知覚媒体としてのコードを確立することにより,MLLMの知覚能力を体系的に向上することに焦点を当てる。 具体的には、1Mイメージ・キャプション・コード・トリプルからなる大規模データセットであるICC-1Mを構築した。 さらに、STEMドメインの視覚的知覚を直接評価する新しいベンチマークであるSTEM2Code-Evalを紹介する。
  論文  参考訳（メタデータ） (2026-03-11T13:32:58Z)
• SynMind: Reducing Semantic Hallucination in fMRI-Based Image Reconstruction [52.34513874272676]
  既存の手法は、明示的な意味的アイデンティティよりも、絡み合った視覚的埋め込みに強く依存している、と我々は主張する。 我々はfMRI信号を、人間の視覚理解の階層的・構成的性質を反映したリッチで文レベルの意味記述に解析する。 そこで我々は,これらの明示的なセマンティックエンコーディングを視覚的プリエンプションと統合したフレームワークであるSynMindを提案する。
  論文  参考訳（メタデータ） (2026-01-25T14:31:23Z)
• Insight: Interpretable Semantic Hierarchies in Vision-Language Encoders [52.94006363830628]
  言語対応の視覚基盤モデルは、下流の様々なタスクで強く機能する。 近年の研究では、これらの表現を人間の解釈可能な概念に分解するが、空間的接地が乏しく、画像分類に限られている。 入力画像に人間が解釈可能で空間的に接地した、きめ細かい概念を提供する言語対応概念基盤モデルであるInsightを提案する。
  論文  参考訳（メタデータ） (2026-01-20T09:57:26Z)
• VL-SAE: Interpreting and Enhancing Vision-Language Alignment with a Unified Concept Set [80.50996301430108]
  視覚言語表現のアライメントは、強いマルチモーダル推論能力を持つ現在のビジョン言語モデルを実現する。 視覚言語表現をその隠れアクティベーションにエンコードするスパースオートエンコーダVL-SAEを提案する。 解釈において、視覚と言語表現のアライメントは、意味論と概念を比較することで理解することができる。
  論文  参考訳（メタデータ） (2025-10-24T10:29:31Z)
• Semantic Discrepancy-aware Detector for Image Forgery Identification [21.695863229449742]
  偽造概念空間と意味概念空間のミスアライメントは、モデルの偽造検出性能を妨げる。 本稿では,再現学習を利用して2つの空間をきめ細かな視覚レベルで整列させるセマンティック離散性認識検出器(SDD)を提案する。 視覚的意味論的概念と偽トレースとの相互作用を強化するために,視覚的再構成パラダイムに基づく概念レベルの偽差学習モジュールを提案する。
  論文  参考訳（メタデータ） (2025-08-17T12:11:09Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• Text-Video Retrieval with Disentangled Conceptualization and Set-to-Set Alignment [17.423361070781876]
  本研究では,人間の概念化と推論の過程をシミュレートするために,Distangled Conceptualization and Set-to-set Alignment (DiCoSA)を提案する。 絡み合った概念化のために、粗い特徴を意味論的概念に関連する複数の潜在要因に分割する。 セット・ツー・セットのアライメントにおいて、視覚概念の集合がテキスト概念の集合に対応する場合、セマンティック概念を集約する適応プーリング法を提案する。
  論文  参考訳（メタデータ） (2023-05-20T15:48:47Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。