論文の概要: FCN-LLM: Empower LLM for Brain Functional Connectivity Network Understanding via Graph-level Multi-task Instruction Tuning
- arxiv url: http://arxiv.org/abs/2603.01135v1
- Date: Sun, 01 Mar 2026 14:33:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.52821
- Title: FCN-LLM: Empower LLM for Brain Functional Connectivity Network Understanding via Graph-level Multi-task Instruction Tuning
- Title（参考訳）: FCN-LLM:グラフレベルのマルチタスク命令チューニングによる脳機能接続ネットワーク理解のためのLLM
- Authors: Xingcan Hu, Wei Wang, Li Xiao,
- Abstract要約: 静止状態fMRIから導かれる脳機能接続ネットワークの基礎は、臨床タスクにおいて有望であることが示されている。
既存の方法は、FCNをテキストのモダリティと整列せず、LLMがFCNを直接理解する能力を制限する。
グラフレベルのマルチタスク命令チューニングによってLLMがFCNを理解することができるフレームワークであるFCN-LLMを提案する。
- 参考スコア（独自算出の注目度）: 6.263790020235786
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models have achieved remarkable success in language understanding and reasoning, and their multimodal extensions enable comprehension of images, video, and audio. Inspired by this, foundation models for brain functional connectivity networks derived from resting-state fMRI have shown promise in clinical tasks. However, existing methods do not align FCNs with the text modality, limiting the ability of LLMs to directly understand FCNs. To address this, we propose FCN-LLM, a framework that enables LLMs to understand FCNs through graph-level, multi-task instruction tuning. Our approach employs a multi-scale FCN encoder capturing brain-region, functional subnetwork, and whole-brain features, projecting them into the semantic space of LLM. We design multi-paradigm instruction tasks covering 19 subject-specific attributes across demographics, phenotypes, and psychiatric conditions. A multi-stage learning strategy first aligns FCN embeddings with the LLM and then jointly fine-tunes the entire model to capture high-level semantic information. Experiments on a large-scale, multi-site FCN database show that FCN-LLM achieves strong zero-shot generalization on unseen datasets, outperforming conventional supervised and foundation models. This work introduces a new paradigm for integrating brain functional networks with LLMs, offering a flexible and interpretable framework for neuroscience.
- Abstract（参考訳）: 大規模言語モデルは言語理解と推論において顕著な成功を収めており、そのマルチモーダル拡張によって画像、ビデオ、音声の理解が可能になっている。
これに触発されて、静止状態fMRIから導かれる脳機能接続ネットワークの基礎モデルは、臨床タスクにおいて有望であることが示されている。
しかし、既存の手法では、FCNとテキストのモダリティを一致させておらず、LLMがFCNを直接理解する能力を制限する。
そこで本稿では,LLM が FCN を理解するためのフレームワークである FCN-LLM を提案する。
提案手法では,マルチスケールのFCNエンコーダを用いて脳領域,機能サブネットワーク,脳全体の特徴を抽出し,それらをLLMのセマンティック空間に投影する。
我々は、人口動態、表現型、精神疾患など19の主観的属性をカバーする多パラダイム指導タスクを設計する。
マルチステージ学習戦略はまずFCNの埋め込みをLLMと整列させ、次にモデル全体を微調整して高レベルのセマンティック情報をキャプチャする。
大規模マルチサイトFCNデータベースの実験により、FCN-LLMは、目に見えないデータセット上で強力なゼロショットの一般化を実現し、従来の教師付きおよび基礎モデルより優れていることが示された。
この研究は、LLMと脳機能ネットワークを統合するための新しいパラダイムを導入し、神経科学のための柔軟で解釈可能なフレームワークを提供する。
関連論文リスト
- Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer [65.72553715508691]
我々は,多段階の推論と構成決定を必要とするタスクにおいて,LVLMが強いテキストのみの大規模言語モデル(LLM)に遅れていることを示す。
LLMからLVLMへ成熟型推論回路を転送するパラメータ効率の高いフレームワークである共有ニューロン低ランク融合(SNRF)を提案する。
その結果、共有ニューロンはLLMとLVLMの間の解釈可能なブリッジを形成し、低コストでマルチモーダルモデルへの推論能力の移行を可能にした。
論文 参考訳（メタデータ） (2026-02-22T06:04:05Z) - Pruning Large Language Models by Identifying and Preserving Functional Networks [41.601762545495255]
構造化プルーニング(Structured pruning)は、大きな言語モデル(LLM)を圧縮してGPUメモリの消費を減らし、推論速度を高速化する技術である。
ほとんどの構造化プルーニング法は、LLMの機能に不可欠な人工ニューロン間の相互作用と協調を見落としている。
人工ニューラルネットワークと人間の脳における機能的ニューラルネットワークの固有の類似性から着想を得て,機能的ネットワークを同定・保存し,LLMを創出することを提案する。
論文 参考訳（メタデータ） (2025-08-07T10:27:01Z) - Probing Neural Topology of Large Language Models [12.298921317333452]
本稿では,大規模言語モデルの機能的接続を明らかにするためのグラフ探索手法を提案する。
多様なLLMファミリーやスケールのモデルを探索することにより、次の予測性能の普遍的な予測可能性を見出す。
興味深いことに、トポロジーの探索は、最大130.4%のアクティベーションでの探索よりも優れている。
論文 参考訳（メタデータ） (2025-06-01T14:57:03Z) - Brain-Inspired Exploration of Functional Networks and Key Neurons in Large Language Models [53.91412558475662]
我々は,大言語モデル(LLM)における機能的ネットワークの探索と同定のために,機能的ニューロイメージング解析の分野における機能的ニューロイメージングと類似した手法を用いる。
実験の結果、人間の脳と同様、LLMは手術中に頻繁に再帰する機能的ネットワークを含んでいることが明らかとなった。
主要な機能的ネットワークのマスキングはモデルの性能を著しく損なう一方、サブセットだけを保持することは効果的な操作を維持するのに十分である。
論文 参考訳（メタデータ） (2025-02-13T04:42:39Z) - Concept Bottleneck Large Language Models [30.877541733738536]
CB-LLMsは本質的に解釈可能な大規模言語モデルを構築するためのフレームワークである。
テキスト分類とテキスト生成という2つの重要なNLPタスクに対してCB-LLMを構築する。
埋め込み解釈により、ユーザーは有害なコンテンツ、ステアモデル行動、そして望ましくない概念を透過的に識別することができる。
論文 参考訳（メタデータ） (2024-12-11T00:04:10Z) - Neural Topic Modeling with Large Language Models in the Loop [12.142323482188056]
大規模言語モデル(LLM)とニューラルトピックモデル(NTM)を統合する新しいフレームワークを提案する。
既存の多くのNTMに組み込む柔軟性により,学習トピックや文書表現におけるNTMの効率を保ちながら,トピックの解釈可能性を高めることができる。
論文 参考訳（メタデータ） (2024-11-13T11:31:02Z) - TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。
モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。
このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
論文 参考訳（メタデータ） (2024-10-14T13:35:47Z) - NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。
トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。
我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
論文 参考訳（メタデータ） (2024-09-17T17:59:06Z) - All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳（メタデータ） (2024-07-20T22:09:42Z) - Graph Neural Prompting with Large Language Models [32.97391910476073]
Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。
複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
論文 参考訳（メタデータ） (2023-09-27T06:33:29Z) - The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural
Language Understanding [97.85957811603251]
MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。
PyTorchとTransformersをベースとして開発されたMT-DNNは、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。
MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。
論文 参考訳（メタデータ） (2020-02-19T03:05:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。