論文の概要: Language models align with brain regions that represent concepts across modalities

• arxiv url: http://arxiv.org/abs/2508.11536v1
• Date: Fri, 15 Aug 2025 15:32:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:24.065502
• Title: Language models align with brain regions that represent concepts across modalities
• Title（参考訳）: 言語モデルは、モーダル性にまたがる概念を表現する脳領域と整合する
• Authors: Maria Ryskina, Greta Tuckute, Alexander Fung, Ashley Malkin, Evelina Fedorenko,
• Abstract要約: 言語モデル(LM)と2つのニューラルネットワークメトリクスの関係について検討する。 実験の結果、脳のより意味のある領域において、言語のみのモデルと言語ビジョンのモデルの両方が信号をより良く予測できることがわかった。
• 参考スコア（独自算出の注目度）: 41.64161126642105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cognitive science and neuroscience have long faced the challenge of disentangling representations of language from representations of conceptual meaning. As the same problem arises in today's language models (LMs), we investigate the relationship between LM--brain alignment and two neural metrics: (1) the level of brain activation during processing of sentences, targeting linguistic processing, and (2) a novel measure of meaning consistency across input modalities, which quantifies how consistently a brain region responds to the same concept across paradigms (sentence, word cloud, image) using an fMRI dataset (Pereira et al., 2018). Our experiments show that both language-only and language-vision models predict the signal better in more meaning-consistent areas of the brain, even when these areas are not strongly sensitive to language processing, suggesting that LMs might internally represent cross-modal conceptual meaning.
• Abstract（参考訳）: 認知科学と神経科学は長い間、概念的意味の表現から言語を遠ざけるという課題に直面してきた。 現在の言語モデル(LM)でも同様の問題があるため,(1)文の処理中の脳の活性化レベル,(2)入力モダリティ間の一貫性,(2)fMRIデータセット(Pereira et al , 2018)を用いて,脳領域が同じ概念(文,語雲,画像)をまたいでどのように反応するかを定量的に示す新しい尺度,という2つの神経指標とLM-脳のアライメントの関係について検討した。 これらの領域が言語処理に強く依存していない場合であっても、言語のみのモデルと言語ビジョンのモデルの両方が、脳のより意味のある領域において信号をより良く予測できることを示し、LMが内部的にクロスモーダルな概念的意味を表現する可能性があることを示唆している。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Discrepancy between Performance and Competence [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。 その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Modelling Multimodal Integration in Human Concept Processing with Vision-Language Models [7.511284868070148]
  視覚言語情報の統合が、人間の脳活動とより整合した表現に繋がるかどうかを考察する。 ヒト脳活性化予測におけるマルチモーダルモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-07-25T10:08:37Z)
• Lost in Translation: The Algorithmic Gap Between LMs and the Brain [8.799971499357499]
  言語モデル(LM)は、様々な言語課題において印象的な性能を達成しているが、脳内の人間の言語処理との関係は未だ不明である。 本稿では、異なるレベルの分析において、LMと脳のギャップと重複について検討する。 神経科学からの洞察(空間性、モジュール性、内部状態、インタラクティブ学習など)が、より生物学的に妥当な言語モデルの開発にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:16Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Joint processing of linguistic properties in brains and language models [14.997785690790032]
  人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。 特定の言語特性の除去は脳のアライメントを著しく低下させる。 これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
  論文  参考訳（メタデータ） (2022-12-15T19:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。