論文の概要: Language models align with brain regions that represent concepts across modalities

• arxiv url: http://arxiv.org/abs/2508.11536v1
• Date: Fri, 15 Aug 2025 15:32:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:24.065502
• Title: Language models align with brain regions that represent concepts across modalities
• Title（参考訳）: 言語モデルは、モーダル性にまたがる概念を表現する脳領域と整合する
• Abstract要約: 言語モデル(LM)と2つのニューラルネットワークメトリクスの関係について検討する。 実験の結果、脳のより意味のある領域において、言語のみのモデルと言語ビジョンのモデルの両方が信号をより良く予測できることがわかった。
• 参考スコア（独自算出の注目度）: 41.64161126642105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cognitive science and neuroscience have long faced the challenge of disentangling representations of language from representations of conceptual meaning. As the same problem arises in today's language models (LMs), we investigate the relationship between LM--brain alignment and two neural metrics: (1) the level of brain activation during processing of sentences, targeting linguistic processing, and (2) a novel measure of meaning consistency across input modalities, which quantifies how consistently a brain region responds to the same concept across paradigms (sentence, word cloud, image) using an fMRI dataset (Pereira et al., 2018). Our experiments show that both language-only and language-vision models predict the signal better in more meaning-consistent areas of the brain, even when these areas are not strongly sensitive to language processing, suggesting that LMs might internally represent cross-modal conceptual meaning.
• Abstract（参考訳）: 認知科学と神経科学は長い間、概念的意味の表現から言語を遠ざけるという課題に直面してきた。 現在の言語モデル(LM)でも同様の問題があるため,(1)文の処理中の脳の活性化レベル,(2)入力モダリティ間の一貫性,(2)fMRIデータセット(Pereira et al , 2018)を用いて,脳領域が同じ概念(文,語雲,画像)をまたいでどのように反応するかを定量的に示す新しい尺度,という2つの神経指標とLM-脳のアライメントの関係について検討した。 これらの領域が言語処理に強く依存していない場合であっても、言語のみのモデルと言語ビジョンのモデルの両方が、脳のより意味のある領域において信号をより良く予測できることを示し、LMが内部的にクロスモーダルな概念的意味を表現する可能性があることを示唆している。

関連論文リスト

• BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language [65.1211456110319]
  BrainJanusは、脳、視覚、言語を単一のフレームワークに統合する最初の統合脳モデルである。 本フレームワークは, 汎用脳モデリングパラダイムとしての可能性を強調し, ゼロショットの一般化と生物学的トポグラフィーの解釈を行う。
  論文  参考訳（メタデータ） (2026-06-29T14:02:15Z)
• MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data [4.280521231404364]
  我々は,fMRI信号からのオープンエンドテキスト生成を可能にする2段階の脳言語フレームワークであるMindAlignを提案する。 サイレント画像記述中に収集されたfMRIデータの実験により、提案手法はfMRIのみのベースラインとランダムなベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-06-15T08:30:03Z)
• Beyond representational alignment with brain-guided language models for robust reasoning [51.87370932573858]
  大規模言語モデル(LLM)は推論関連領域の神経信号と一致していることを示す。 ニューラルネットワークの予測基準を用いて,LLMは推論関連領域における説明可能な分散のかなりの部分を説明する。 我々は、モデルと脳表現の結合構造によって誘導される方向に沿って、モデル表現を操る脳誘導フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T10:22:49Z)
• When Language Models Lose Their Mind: The Consequences of Brain Misalignment [8.694405135908484]
  脳不整合型大言語モデル(LLM)を導入し,脳活動の予測能力の低下を訓練した。 我々はこれらのモデルを,意味論,構文論,談話,推論,形態学など多種多様な言語領域を含む200以上の下流タスクで評価する。 実験の結果,脳の不適応は下流での演奏を著しく損なうことが判明し,脳のアライメントが頑健な言語能力を達成する上で重要な役割を担っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-24T11:39:54Z)
• Far from the Shallow: Brain-Predictive Reasoning Embedding through Residual Disentanglement [43.96899536703126]
  現代の大規模言語モデル(LLM)は、言語に対する神経反応をモデル化するためにますます使われている。 彼らの内部表現は極めて「絡み合っている」ものであり、語彙、構文、意味、推論に関する情報を混ぜている。 この絡み合いは、言語学的に浅い特徴に対する従来の脳のコード解析に偏っている。
  論文  参考訳（メタデータ） (2025-10-26T22:46:26Z)
• Large Language Models as Neurolinguistic Subjects: Discrepancy between Performance and Competence [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。 その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Modelling Multimodal Integration in Human Concept Processing with Vision-Language Models [7.511284868070148]
  視覚言語情報の統合が、人間の脳活動とより整合した表現に繋がるかどうかを考察する。 ヒト脳活性化予測におけるマルチモーダルモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-07-25T10:08:37Z)
• Large Language Model-based FMRI Encoding of Language Functions for Subjects with Neurocognitive Disorder [53.575426835313536]
  LLMを用いたfMRIエンコーディングと脳のスコアを用いた高齢者の言語関連機能変化について検討する。 脳のスコアと認知スコアの相関関係を脳全体のROIと言語関連ROIの両方で分析した。 以上の結果から,認知能力の向上は,中側頭回に有意な相関がみられた。
  論文  参考訳（メタデータ） (2024-07-15T01:09:08Z)
• Lost in Translation: The Algorithmic Gap Between LMs and the Brain [8.799971499357499]
  言語モデル(LM)は、様々な言語課題において印象的な性能を達成しているが、脳内の人間の言語処理との関係は未だ不明である。 本稿では、異なるレベルの分析において、LMと脳のギャップと重複について検討する。 神経科学からの洞察(空間性、モジュール性、内部状態、インタラクティブ学習など)が、より生物学的に妥当な言語モデルの開発にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:16Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Joint processing of linguistic properties in brains and language models [14.997785690790032]
  人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。 特定の言語特性の除去は脳のアライメントを著しく低下させる。 これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
  論文  参考訳（メタデータ） (2022-12-15T19:13:42Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Does injecting linguistic structure into language models lead to better alignment with brain recordings? [13.880819301385854]
  言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。 提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
  論文  参考訳（メタデータ） (2021-01-29T14:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。