論文の概要: Beyond Parallel Tracking: Interactive Multi-Feature Fusion Drives Semantic Reconstruction from Non-invasive Brain Recordings

• arxiv url: http://arxiv.org/abs/2607.12071v2
• Date: Mon, 20 Jul 2026 01:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 14:24:57.323546
• Title: Beyond Parallel Tracking: Interactive Multi-Feature Fusion Drives Semantic Reconstruction from Non-invasive Brain Recordings
• Title（参考訳）: 対話型多機能核融合による非侵襲的脳記録からのセマンティック再構築
• Abstract要約: 非侵襲的なニューラル記録からの連続的意味再構成は、意味的特徴空間とニューラルコーディングパターンとの表現的ミスマッチによって制限されている。 以前のセマンティックデコーダは、独立して静的語彙表現や動的文脈化表現に大きく依存していた。 本研究では,非侵襲的意味再構成のための多機能融合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.302171409052637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous semantic reconstruction from non-invasive neural recordings remains limited by the representational mismatch between semantic feature spaces and neural coding patterns, which severely impedes cross-modal alignment between high-noise neural signals and target semantic features. Prior semantic decoders have predominantly relied on static lexical representations or dynamic contextualized representations in isolation. This single-dimension approach inevitably leads to severe information loss, as it fails to account for the human brain's capacity to integrate stable word attributes and dynamic contexts simultaneously. To bridge this gap, this study introduces a multi-feature fusion framework for non-invasive semantic reconstruction, systematically benchmarking two integration approaches: linear Naive Concatenation and non-linear Multi-Head Cross-Attention. Within this framework, our approach complements static lexical representations (W2V) with dynamic contextual representations (GPT) via an interactive gating mechanism to facilitate cooperative processing during language comprehension. Evaluated through extensive semantic reconstruction and text generation experiments, our framework reveals a robust performance hierarchy: Cross-Att > Concat > GPT > W2V. Crucially, the non-linear cross-attention fusion method achieves state-of-the-art performance, demonstrating that neural language decoding benefits from simulating the collaborative modulation between contextual information and core lexical attributes rather than depending on isolated individual features, while also offering a viable non-invasive brain-to-text decoding method.
• Abstract（参考訳）: 非侵襲的なニューラル記録からの連続的セマンティック再構成は、意味的特徴空間とニューラルコーディングパターンとの表現的ミスマッチによって制限され、ハイノイズニューラル信号とターゲットセマンティック特徴との相互アライメントを著しく阻害する。 以前のセマンティックデコーダは、独立して静的語彙表現や動的文脈化表現に大きく依存していた。 この単一次元アプローチは、安定した単語属性と動的コンテキストを同時に統合する人間の脳の能力を考慮していないため、必然的に深刻な情報損失をもたらす。 このギャップを埋めるため,本研究では,非侵襲的セマンティック再構築のための多機能融合フレームワークを導入し,リニアネイブ結合と非線形多面的クロスアテンションという2つの統合アプローチを体系的にベンチマークした。 本フレームワークでは,静的語彙表現(W2V)と動的文脈表現(GPT)を対話的ゲーティング機構により補完し,言語理解時の協調処理を容易にする。 大規模なセマンティック再構築とテキスト生成実験により評価した結果,クロスアット>コンキャット>GPT>W2Vという強靭な性能階層が明らかになった。 重要なことに、非線形横断核融合法は最先端のパフォーマンスを達成し、ニューラルネットワークの復号化は、独立した個々の特徴に依存するのではなく、コンテキスト情報とコア語彙属性の協調的な変調をシミュレートすることによる恩恵であり、また、実行可能な非侵襲的な脳からテキストへの復号法を提供する。

関連論文リスト

• Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding [63.599342750566485]
  SPARは、潜在空間アグリゲーションの前に過渡的ダイナミックノイズを明示的に分離する新しい意味幾何学的エンコーディングアーキテクチャである。 エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
  論文  参考訳（メタデータ） (2026-08-29T09:58:24Z)
• Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence [7.7737164302813895]
  MD-SigLIPは、脳の埋め込みとテキストの埋め込みを共有セマンティック空間に合わせることを目的としており、検索ベースのデコードを可能にする。 この定式化は、ニューラル表現と言語意味論の対応を明示的なモデリングを可能にする。 実験では、全語彙とサブセット評価設定の両方で、最先端の検索性能を示す。
  論文  参考訳（メタデータ） (2026-08-17T14:47:15Z)
• Cross-Subject Semantic Decoding with Shared-Space Alignment for Generalized Neural Representation Learning [80.18561652862725]
  被験者全体にわたる一般化は、侵襲的なニューラル記録において難しいままである。 本稿では,複数の被験者からの音声知覚に対するニューラル応答を共有潜在空間に整列させるクロスオブジェクトセマンティックデコーディングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-03T03:59:16Z)
• SABER: A Semantic-Aligned Brain Network Analysis Framework via Multi-scale Hypergraphs [2.525239819116781]
  脳疾患の診断には、脳の接続パターンと高レベルの意味的知識のシナジーが必要である。 既存の方法は、大きな言語モデル(LLM)のセマンティクスを補助的特徴または監督として扱う。 本稿では,LLM由来のセマンティクスを予測プロセスに積極的に組み込むセマンティクス・アライン・ブレイン・ネットワーク・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-02T08:58:47Z)
• Vision-Core Guided Contrastive Learning for Balanced Multi-modal Prognosis Prediction of Stroke [4.272151451487239]
  本稿では,虚血性脳梗塞に対する新しい3モーダル融合モデルを提案する。 脳MRIから半構造化診断テキストを自動的に生成するために,Large Language Model (LLM) を用いる。 また、ビジョンコンディションドデュアルアライメント・フュージョンモジュールと呼ばれるコアコンポーネントを設計する。
  論文  参考訳（メタデータ） (2026-05-14T11:28:57Z)
• Disentangled Dual-Branch Graph Learning for Conversational Emotion Recognition [37.30058027224552]
  会話におけるマルチモーダル感情認識は、コンテキスト内のテキスト、音響、視覚的手がかりを共同でモデル化することにより、発話レベルの感情を推測することを目的としている。 本稿では,二重空間特徴の絡み合いと二重分岐グラフ学習を組み合わせたフレームワークを提案する。 IEMOCAPとMELDの実験により,提案手法は強いベースラインよりも優れた性能が得られることを示した。
  論文  参考訳（メタデータ） (2026-04-03T14:47:26Z)
• Contrastive and Multi-Task Learning on Noisy Brain Signals with Nonlinear Dynamical Signatures [5.37454752035459]
  脳波信号を解析するための2段階マルチタスク学習フレームワークを提案する。 第1段階では、デノナイジングオートエンコーダが、アーティファクトの抑制と時間的ダイナミクスの安定化のために訓練される。 第2段階では、マルチタスクアーキテクチャがこれらの識別された信号を処理し、3つの目的を達成する。
  論文  参考訳（メタデータ） (2026-01-13T13:36:38Z)
• Boosting Neural Language Inference via Cascaded Interactive Reasoning [38.125341836302525]
  自然言語推論(NLI)は、与えられた前提と仮説の間の論理的関係の確認に焦点を当てている。 この課題は、多様な言い回し、意味的複雑さ、文脈的ニュアンスといった固有の言語的特徴により、重大な課題を提起する。 NLIにおける深い意味理解のために設計された新しいアーキテクチャであるCascaded Interactive Reasoning Network (CIRN)を紹介する。
  論文  参考訳（メタデータ） (2025-05-10T11:37:15Z)
• Hierarchical Banzhaf Interaction for General Video-Language Representation Learning [60.44337740854767]
  マルチモーダル表現学習は人工知能領域において重要な役割を担っている。 本稿では,多変量協調ゲーム理論を用いて,ビデオテキストをゲームプレイヤーとしてモデル化する手法を提案する。 元の構造をフレキシブルなエンコーダ・デコーダ・フレームワークに拡張し、モデルが様々な下流タスクに適応できるようにする。
  論文  参考訳（メタデータ） (2024-12-30T14:09:15Z)
• Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition [64.56321246196859]
  本稿では,dUalスケルトン・セマンティック・セマンティック・セマンティック・セマンティック・シンジスティック・フレームワークを提案する。 まず、時空間進化型マイクロプロトタイプを構築し、動的コンテキスト認識側情報を統合する。 本研究では,空間的圧縮と時間的記憶機構を導入し,空間的時間的マイクロプロトタイプの成長を導く。
  論文  参考訳（メタデータ） (2024-11-18T05:16:11Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction [50.986371459817256]
  本稿では,VIRT と呼ばれる新しいtextitVirtual InteRacTion 機構を提案する。 VIRTは、表現ベースのエンコーダに、対話ベースのモデルのように振舞いを模倣する仮想インタラクションを実行するよう要求する。
  論文  参考訳（メタデータ） (2021-12-08T09:49:28Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。