論文の概要: Talking to the brain: Using Large Language Models as Proxies to Model Brain Semantic Representation

• arxiv url: http://arxiv.org/abs/2502.18725v1
• Date: Wed, 26 Feb 2025 00:40:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:01.816617
• Title: Talking to the brain: Using Large Language Models as Proxies to Model Brain Semantic Representation
• Title（参考訳）: 脳に話しかける:大言語モデルを用いて脳意味表現をモデル化する
• Authors: Xin Liu, Ziyue Zhang, Jingxin Nie,
• Abstract要約: 本稿では,マルチモーダル大言語モデル(LLM)をプロキシとして活用して,自然画像から意味情報を抽出する手法を提案する。 LLMから派生した表現は、fMRIによって測定された確立された神経活動パターンをうまく予測する。 LLM由来の表現から構築された脳意味ネットワークは、機能的および文脈的関連を反映する意味あるクラスタを識別する。
• 参考スコア（独自算出の注目度）: 6.870138108382051
• License:
• Abstract: Traditional psychological experiments utilizing naturalistic stimuli face challenges in manual annotation and ecological validity. To address this, we introduce a novel paradigm leveraging multimodal large language models (LLMs) as proxies to extract rich semantic information from naturalistic images through a Visual Question Answering (VQA) strategy for analyzing human visual semantic representation. LLM-derived representations successfully predict established neural activity patterns measured by fMRI (e.g., faces, buildings), validating its feasibility and revealing hierarchical semantic organization across cortical regions. A brain semantic network constructed from LLM-derived representations identifies meaningful clusters reflecting functional and contextual associations. This innovative methodology offers a powerful solution for investigating brain semantic organization with naturalistic stimuli, overcoming limitations of traditional annotation methods and paving the way for more ecologically valid explorations of human cognition.
• Abstract（参考訳）: 自然主義的刺激を用いた伝統的な心理学実験は、手動の注釈と生態学的妥当性において課題に直面している。 そこで本研究では,マルチモーダルな大規模言語モデル(LLM)をプロキシとして活用し,視覚的意味表現分析のための視覚質問回答(VQA)戦略を用いて,自然な画像からリッチな意味情報を抽出する手法を提案する。 LLM由来の表現は、fMRI(例えば、顔、建物)によって測定された確立された神経活動パターンをうまく予測し、その実現可能性を検証するとともに、皮質領域全体で階層的な意味的組織を明らかにする。 LLM由来の表現から構築された脳意味ネットワークは、機能的および文脈的関連を反映する意味あるクラスタを識別する。 この革新的な方法論は、自然主義的な刺激で脳の意味組織を調査し、従来のアノテーション手法の限界を克服し、より生態学的に有効な人間の認知の探索を行うための強力な解決策を提供する。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大型言語モデル(LLM)における人間に似た概念表現の出現について検討した。 その結果、LLMは定義記述から概念を推論し、共有された文脈に依存しない構造に収束する表現空間を構築することができた。 我々の研究は、LLMが複雑な人間の認知を理解するための貴重なツールであり、人工知能と人間の知能の整合性を高めるための道を開くという見解を支持している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• Neurosymbolic Graph Enrichment for Grounded World Models [47.92947508449361]
  複雑な問題に対処するために, LLM の反応性を向上し, 活用するための新しいアプローチを提案する。 我々は,大規模言語モデルの強みと構造的意味表現を組み合わせた,多モーダルで知識を付加した意味の形式表現を作成する。 非構造化言語モデルと形式的意味構造とのギャップを埋めることで、自然言語理解と推論における複雑な問題に対処するための新たな道を開く。
  論文  参考訳（メタデータ） (2024-11-19T17:23:55Z)
• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• What if...?: Thinking Counterfactual Keywords Helps to Mitigate Hallucination in Large Multi-modal Models [50.97705264224828]
  大規模マルチモーダルモデルに反現実的思考を組み込む新しい手法である反現実的インセプションを提案する。 我々は、より広い文脈のシーン理解にまたがる応答をモデルが関与し、生成することを目指している。 オープンソースモデルとプロプライエタリモデルの両方を含む様々なLMMの包括的分析は、反事実的思考が幻覚を著しく減少させることを裏付ける。
  論文  参考訳（メタデータ） (2024-03-20T11:27:20Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• BrainSCUBA: Fine-Grained Natural Language Captions of Visual Cortex Selectivity [6.285481522918523]
  そこで本研究では,関心のボクセルを最大に活性化する画像に対して,自然言語記述を生成するデータ駆動方式を提案する。 高次視覚領域にまたがる微細なボクセルレベルのキャプションにより,本手法の有効性を検証した。 そこで我々は,脳内の「個人」表現の分布に関する探索的研究を行った。
  論文  参考訳（メタデータ） (2023-10-06T17:59:53Z)
• Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli [0.29005223064604074]
  本稿では,意味的・文脈的類似性にも依存する脳復号法を提案する。 我々は、自然視のfMRIデータセットを使用し、人間の視覚におけるボトムアップとトップダウンの両方のプロセスの存在にインスパイアされたディープラーニングデコードパイプラインを作成します。 視覚刺激の再現は, それまでの文献において, 本来の内容とセマンティックレベルで非常によく一致し, 芸術の状態を超越している。
  論文  参考訳（メタデータ） (2022-12-13T16:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。