論文の概要: The Representational Alignment between Humans and Language Models is implicitly driven by a Concreteness Effect

• arxiv url: http://arxiv.org/abs/2505.15682v1
• Date: Wed, 21 May 2025 15:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.75722
• Title: The Representational Alignment between Humans and Language Models is implicitly driven by a Concreteness Effect
• Title（参考訳）: 具体的効果によって暗黙的に駆動される人間と言語モデル間の表現的アライメント
• Authors: Cosimo Iaia, Bhavin Choksi, Emily Wiebers, Gemma Roig, Christian J. Fiebach,
• Abstract要約: 本研究では,人間によって暗黙的に使用される意味距離を,慎重に選択された抽象名詞と具体名詞の集合として推定する。 参加者の暗黙的表現空間と言語モデルの意味的表現が著しく一致していることが判明した。 結果は、人間と言語モデルは具体性次元に収束するが、他の次元には収束しないことを示している。
• 参考スコア（独自算出の注目度）: 4.491391835956324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The nouns of our language refer to either concrete entities (like a table) or abstract concepts (like justice or love), and cognitive psychology has established that concreteness influences how words are processed. Accordingly, understanding how concreteness is represented in our mind and brain is a central question in psychology, neuroscience, and computational linguistics. While the advent of powerful language models has allowed for quantitative inquiries into the nature of semantic representations, it remains largely underexplored how they represent concreteness. Here, we used behavioral judgments to estimate semantic distances implicitly used by humans, for a set of carefully selected abstract and concrete nouns. Using Representational Similarity Analysis, we find that the implicit representational space of participants and the semantic representations of language models are significantly aligned. We also find that both representational spaces are implicitly aligned to an explicit representation of concreteness, which was obtained from our participants using an additional concreteness rating task. Importantly, using ablation experiments, we demonstrate that the human-to-model alignment is substantially driven by concreteness, but not by other important word characteristics established in psycholinguistics. These results indicate that humans and language models converge on the concreteness dimension, but not on other dimensions.
• Abstract（参考訳）: 我々の言語の名詞は、具体的な実体(表のような)または抽象的な概念(正義や愛のような)を指し、認知心理学は、具体性が言葉の処理方法に影響を与えることを証明している。 したがって、私たちの心と脳における具体性がどのように表現されるかを理解することは、心理学、神経科学、計算言語学において中心的な問題である。 強力な言語モデルの出現により、意味表現の性質に関する定量的な探求が可能になったが、それらがどのように具体性を表すのかは明らかにされていない。 そこで我々は,人間によって暗黙的に使用される意味的距離を,慎重に選択された抽象名詞と具体名詞の集合として推定するために行動判断を用いた。 Representational similarity Analysisを用いて、参加者の暗黙的な表現空間と言語モデルの意味的表現が著しく一致していることが分かる。 また,両表現空間は具象性の明示的な表現と暗黙的に一致していることが判明した。 アブレーション実験を用いて、人間とモデルとのアライメントは、具体性によって実質的に駆動されるが、他の精神言語学で確立された重要な単語の特徴によって駆動されるものではないことを示す。 これらの結果は、人間と言語モデルは具体性次元に収束するが、他の次元には収束しないことを示している。

関連論文リスト

• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。 これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか? 以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。 これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• A Grounded Typology of Word Classes [7.201565960962933]
  情報理論に触発されて、意味的満足度を実証的な尺度として「接地性」を定義した。 我々の測度は言語間の機能的(文法的)クラスと語彙的(コンテンツ的)クラスの間の満足度非対称性を捉えている。 30の言語に対する基底性スコアのデータセットをリリースします。
  論文  参考訳（メタデータ） (2024-12-13T18:58:48Z)
• Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
  スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。 様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
  論文  参考訳（メタデータ） (2024-06-20T18:58:11Z)
• Identifying and interpreting non-aligned human conceptual representations using language modeling [0.0]
  先天性失明は,a-モダル語と知覚関連言語ドメインの両方において概念的再編成を引き起こすことを示す。 視覚障害者は、より強く社会的・認知的な意味と、行動に関連する動詞を関連づける。 一部の動詞では、盲目と盲目の表現は非常に似ている。
  論文  参考訳（メタデータ） (2024-03-10T13:02:27Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [52.992875653864076]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• What Drives the Use of Metaphorical Language? Negative Insights from Abstractness, Affect, Discourse Coherence and Contextualized Word Representations [13.622570558506265]
  特定の談話が与えられたら、どの談話特性が、リテラルな代替語ではなく、比喩的な言語の使用を引き起こすのか? 比喩的言語に対する多くのNLPアプローチは、認知的および(心理学的)言語学的洞察に依存し、談話の一貫性、抽象性、影響のモデルの定義に成功している。 本研究では,メタファー対同義語表現の文脈での活用を予測するために,確立された認知的・言語的特性に依存した5つの単純なモデルを構築した。
  論文  参考訳（メタデータ） (2022-05-23T08:08:53Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)
• The Fluidity of Concept Representations in Human Brain Signals [0.0]
  我々はfMRIデータにおける具体的な概念と抽象概念の識別可能性を分析する。 我々は流体概念の表現が人間の言語処理のより現実的なモデルに繋がると主張している。
  論文  参考訳（メタデータ） (2020-02-20T17:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。