論文の概要: Modeling the language cortex with form-independent and enriched representations of sentence meaning reveals remarkable semantic abstractness

• arxiv url: http://arxiv.org/abs/2510.02354v1
• Date: Sat, 27 Sep 2025 20:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.03291
• Title: Modeling the language cortex with form-independent and enriched representations of sentence meaning reveals remarkable semantic abstractness
• Title（参考訳）: 文の意味の形式非依存表現と豊か表現による言語大脳皮質のモデル化は、顕著な意味的抽象性を示す
• Authors: Shreya Saha, Shurui Li, Greta Tuckute, Yuanning Li, Ru-Yuan Zhang, Leila Wehbe, Evelina Fedorenko, Meenakshi Khosla,
• Abstract要約: 文に対する神経応答をモデル化することにより,言語大脳皮質における意味の抽象表現を探索する。 複数の生成画像にまたがるアグリゲーションにより,言語野の反応の精度が向上することがわかった。
• 参考スコア（独自算出の注目度）: 15.252451854183349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The human language system represents both linguistic forms and meanings, but the abstractness of the meaning representations remains debated. Here, we searched for abstract representations of meaning in the language cortex by modeling neural responses to sentences using representations from vision and language models. When we generate images corresponding to sentences and extract vision model embeddings, we find that aggregating across multiple generated images yields increasingly accurate predictions of language cortex responses, sometimes rivaling large language models. Similarly, averaging embeddings across multiple paraphrases of a sentence improves prediction accuracy compared to any single paraphrase. Enriching paraphrases with contextual details that may be implicit (e.g., augmenting "I had a pancake" to include details like "maple syrup") further increases prediction accuracy, even surpassing predictions based on the embedding of the original sentence, suggesting that the language system maintains richer and broader semantic representations than language models. Together, these results demonstrate the existence of highly abstract, form-independent meaning representations within the language cortex.
• Abstract（参考訳）: 人間の言語体系は言語形式と意味の両方を表現しているが、意味表現の抽象性については議論が続いている。 そこで我々は,視覚と言語モデルからの表現を用いて,文に対するニューラル応答をモデル化し,言語大脳皮質における意味の抽象表現を探索した。 文に対応する画像を生成し、視覚モデル埋め込みを抽出すると、複数の生成画像にまたがって集約することで言語大脳皮質反応の精度が向上し、時として大きな言語モデルに匹敵する結果が得られます。 同様に、文の複数のパラフレーズにまたがる平均的な埋め込みは、単一のパラフレーズと比較して予測精度を向上させる。 暗黙的な文脈的詳細(例えば、"maple syrup"のような詳細を含む"I had a pancake"を増補した)でパラフレーズを豊かにすることで、予測精度が向上し、原文の埋め込みに基づく予測を超え、言語システムは言語モデルよりもリッチで広範な意味表現を維持していることを示唆している。 これらの結果は、言語大脳皮質における非常に抽象的で形式に依存しない意味表現の存在を証明している。

関連論文リスト

• Investigating Idiomaticity in Word Representations [9.208145117062339]
  我々は2つの言語(英語とポルトガル語)における様々な水準の慣用性を持つ名詞に焦点をあてる。 そこで本研究では,各名詞の音韻性判定を含む最小対のデータセットについて,タイプレベルとトークンレベルの両方で示す。 AffinityとScaled similarityの詳細なメトリクスセットを定義し、モデルが慣用性の変化につながる可能性のある摂動に対してどれほど敏感であるかを判断する。
  論文  参考訳（メタデータ） (2024-11-04T21:05:01Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [52.992875653864076]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
  我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。 実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。 また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
  論文  参考訳（メタデータ） (2021-08-31T21:46:35Z)
• Low Anisotropy Sense Retrofitting (LASeR) : Towards Isotropic and Sense Enriched Representations [0.0]
  我々は表現幾何学を解析し、学習済みの言語モデルのほとんどの層が高度に異方性のある表現を作り出すことを発見した。 既成表現を等方的かつ意味的に意味的に表現する 'Low Anisotropy Sense Retrofitting' アプローチである LASeR を提案する。
  論文  参考訳（メタデータ） (2021-04-22T02:44:49Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Evaluating Models of Robust Word Recognition with Serial Reproduction [8.17947290421835]
  広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。 先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
  論文  参考訳（メタデータ） (2021-01-24T20:16:12Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。