論文の概要: Optimal Transport for Brain-Image Alignment: Unveiling Redundancy and Synergy in Neural Information Processing

• arxiv url: http://arxiv.org/abs/2503.10663v1
• Date: Sun, 09 Mar 2025 06:14:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-23 06:38:28.918442
• Title: Optimal Transport for Brain-Image Alignment: Unveiling Redundancy and Synergy in Neural Information Processing
• Title（参考訳）: 脳画像アライメントのための最適輸送:ニューラル情報処理における冗長性とシナジーの解消
• Authors: Yang Xiao, Wang Lu, Jie Ji, Ruimeng Ye, Gen Li, Xiaolong Ma, Bo Hui,
• Abstract要約: 既存の方法は、主に局所的なポイントワイドアライメントのみに焦点を当てたMean Squared Error (MSE)を用いて、脳信号と現実世界の信号とをアライメントする。 最適輸送(OT)を通してこれらの問題に対処し、なぜOTがMSEよりも効果的なアライメント戦略を提供するのかを理論的に実証する。 提案手法は,従来のベストメソッドを平均6.11%,クロスオブジェクトトレーニング3.81%で上回り,10つの評価指標にまたがって最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 21.130477722306026
• License:
• Abstract: The design of artificial neural networks (ANNs) is inspired by the structure of the human brain, and in turn, ANNs offer a potential means to interpret and understand brain signals. Existing methods primarily align brain signals with real-world signals using Mean Squared Error (MSE), which solely focuses on local point-wise alignment, and ignores global matching, leading to coarse interpretations and inaccuracies in brain signal decoding. In this paper, we address these issues through optimal transport (OT) and theoretically demonstrate why OT provides a more effective alignment strategy than MSE. Specifically, we construct a transport plan between brain voxel embeddings and image embeddings, enabling more precise matching. By controlling the amount of transport, we mitigate the influence of redundant information. We apply our alignment model directly to the Brain Captioning task by feeding brain siginals into a large language model (LLM) instead of images. Our approach achieves state-of-the-art performance across ten evaluation metrics, surpassing the previous best method by an average of 6.11\% in single-subject training and 3.81\% in cross-subject training. Additionally, we have uncovered several insightful conclusions that align with existing brain research. We unveil the redundancy and synergy of brain information processing through region masking and data dimensionality reduction visualization experiments. We believe our approach paves the way for a more precise understanding of brain signals in the future. The code is available soon.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)の設計は、人間の脳の構造にインスパイアされ、ANNは脳の信号を解釈し理解する潜在的な手段を提供する。 既存の方法は、主に局所的なポイントワイドアライメントのみに焦点を当てたMean Squared Error(MSE)を使用して脳信号と現実世界の信号とをアライメントし、グローバルマッチングを無視し、脳信号復号における粗い解釈と不正確性をもたらす。 本稿では、これらの問題を最適輸送(OT)を通して解決し、なぜOTがMSEよりも効果的なアライメント戦略を提供するのかを理論的に示す。 具体的には、脳のボクセル埋め込みと画像埋め込みの輸送計画を構築し、より正確なマッチングを可能にする。 輸送量の制御により、冗長な情報の影響を緩和する。 我々は、画像ではなく、大言語モデル(LLM)に脳血管を供給することで、アライメントモデルをブレインキャプションタスクに直接適用する。 提案手法は, 単目的訓練において平均6.11 %, クロスオブジェクトトレーニングにおいて平均3.81 %, 従来のベストメソッドを平均6.11 %超え, 10 つの評価指標にまたがる最先端性能を実現する。 さらに、既存の脳研究と合致する洞察に富んだ結論がいくつか見つかった。 領域マスキングによる脳情報処理の冗長性と相乗効果を明らかにするとともに,データ次元削減可視化実験を行った。 私たちのアプローチは、将来脳の信号をより正確に理解するための道を開くものだと考えています。 コードはまもなく入手可能だ。

関連論文リスト

• MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
  MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。 脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。 脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
  論文  参考訳（メタデータ） (2025-02-07T16:01:59Z)
• BrainMAP: Learning Multiple Activation Pathways in Brain Networks [77.15180533984947]
  本稿では,脳ネットワークにおける複数の活性化経路を学習するための新しいフレームワークであるBrainMAPを紹介する。 本フレームワークは,タスクに関わる重要な脳領域の説明的分析を可能にする。
  論文  参考訳（メタデータ） (2024-12-23T09:13:35Z)
• Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation [53.70131202548981]
  本稿では,脳MRIにKGPL(Knowledge-Guided Prompt Learning)を用いた2段階のセグメンテーションフレームワークを提案する。 具体的には,大規模データセットと準最適ラベルを用いたトレーニング前セグメンテーションモデルについて述べる。 知識的プロンプトの導入は、解剖学的多様性と生物学的プロセスの間の意味的関係を捉えている。
  論文  参考訳（メタデータ） (2024-07-31T04:32:43Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Brain Decodes Deep Nets [9.302098067235507]
  我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発した。 私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
  論文  参考訳（メタデータ） (2023-12-03T04:36:04Z)
• MBrain: A Multi-channel Self-Supervised Learning Framework for Brain Signals [7.682832730967219]
  本稿では,SEEGデータとEEGデータのいずれかを事前学習できる脳信号の自己教師型学習フレームワークについて検討する。 そこで我々は,異なるチャネル間の空間的および時間的相関を暗黙的に学習するために,MBrainを提案する。 我々のモデルは、最先端のSSLおよび教師なしモデルよりも優れており、臨床に展開する能力を持っている。
  論文  参考訳（メタデータ） (2023-06-15T09:14:26Z)
• Connectional-Style-Guided Contextual Representation Learning for Brain Disease Diagnosis [12.172262618438173]
  本研究では,脳の固有パターンを捉えるために,接続型文脈表現学習モデル(CS-CRL)を提案する。 CS-CRLは6つのデータセットと3つの疾患にまたがる複数の脳疾患診断タスクにおいて優れた精度を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:39:27Z)
• Identifying Shared Decodable Concepts in the Human Brain Using Image-Language Foundation Models [2.213723689024101]
  高品質な事前学習型マルチモーダル表現を利用して、人間の脳内のきめ細かいセマンティックネットワークを探索する手法を提案する。 このような脳の領域を特定するために,我々は,大規模な機能的磁気共鳴画像(fMRI)データセットからデオード可能な視覚概念を明らかにするために,データ駆動型アプローチを開発した。
  論文  参考訳（メタデータ） (2023-06-06T03:29:47Z)
• Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph Convolutional Network [0.8399688944263843]
  既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。 本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。 我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-08T12:14:33Z)
• Deep Reinforcement Learning Guided Graph Neural Networks for Brain Network Analysis [61.53545734991802]
  本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。 提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2022-03-18T07:05:27Z)
• Interpretation of 3D CNNs for Brain MRI Data Classification [56.895060189929055]
  T1脳MRIにおける拡散テンソル画像の男女差について,これまでの知見を拡張した。 ボクセルの3次元CNN解釈を3つの解釈法の結果と比較する。
  論文  参考訳（メタデータ） (2020-06-20T17:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。