論文の概要: Word Meanings in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2508.12863v1
• Date: Mon, 18 Aug 2025 12:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.278904
• Title: Word Meanings in Transformer Language Models
• Title（参考訳）: 変換言語モデルにおける単語の意味
• Authors: Jumbly Grindrod, Peter Grindrod,
• Abstract要約: 変換言語モデルにおいて,単語の意味がどのように表現されるかを検討する。 そこで我々は,RoBERTaベースのトークン埋め込み空間を抽出し,k平均で200クラスタにクラスタ化した。 トークン埋め込み空間内には,さまざまな意味情報がエンコードされている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate how word meanings are represented in the transformer language models. Specifically, we focus on whether transformer models employ something analogous to a lexical store - where each word has an entry that contains semantic information. To do this, we extracted the token embedding space of RoBERTa-base and k-means clustered it into 200 clusters. In our first study, we then manually inspected the resultant clusters to consider whether they are sensitive to semantic information. In our second study, we tested whether the clusters are sensitive to five psycholinguistic measures: valence, concreteness, iconicity, taboo, and age of acquisition. Overall, our findings were very positive - there is a wide variety of semantic information encoded within the token embedding space. This serves to rule out certain "meaning eliminativist" hypotheses about how transformer LLMs process semantic information.
• Abstract（参考訳）: 変換言語モデルにおいて,単語の意味がどのように表現されるかを検討する。 具体的には,各単語が意味情報を含むエントリを持つ場合,トランスフォーマーモデルが語彙ストアに類似するものを使用するかどうかに焦点を当てる。 そこで我々は,RoBERTaベースのトークン埋め込み空間を抽出し,k平均で200クラスタにクラスタ化した。 最初の研究では、結果のクラスタを手動で検査し、セマンティックな情報に敏感かどうかを検討しました。 第2の研究では、クラスターが正当性、具体性、象徴性、タブー、獲得年齢の5つの心理言語学的尺度に敏感かどうかを検証した。 トークン埋め込み空間内には,さまざまな意味情報がエンコードされている。 このことは、トランスフォーマー LLM が意味情報をどのように処理するかについて、ある「最小限の」仮説を除外するのに役立つ。

関連論文リスト

• CALE : Concept-Aligned Embeddings for Both Within-Lemma and Inter-Lemma Sense Differentiation [0.0]
  語彙意味論は、単語が異なる文脈で採用できる複数の感覚と、異なる単語の意味の間に存在する意味的関係の両方に関係している。 それらを調べるために、コンテキスト対応言語モデル(Contextualized Language Models)は、コンテキストに敏感な表現を提供する貴重なツールである。 単語間シナリオを含む拡張である概念差分法を提案する。
  論文  参考訳（メタデータ） (2025-08-06T14:43:22Z)
• Multi-Sense Embeddings for Language Models and Knowledge Distillation [17.559171180573664]
  変換器ベースの大規模言語モデル(LLM)は、周囲のコンテキストに応じて同じトークンに対して異なる表現を生成するコンテキスト埋め込みに依存している。 本稿では,各トークンのドロップイン置換としてマルチセンス埋め込みを提案し,その使用範囲を言語で把握する。
  論文  参考訳（メタデータ） (2025-04-08T13:36:36Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Semantics of Multiword Expressions in Transformer-Based Models: A Survey [8.372465442144048]
  MWE(Multiword Expression)は複数の単語からなり、構成度の変動を示す。 トランスモデルを用いたMWE処理の詳細な調査を行った。 その結果,MWEのセマンティクスは表面パターンや記憶情報に依存して不整合であることがわかった。
  論文  参考訳（メタデータ） (2024-01-27T11:51:11Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• What Context Features Can Transformer Language Models Use? [32.49689188570872]
  英語ウィキペディアで学習したトランスフォーマー言語モデルにおいて,語彙情報と構造情報を選択的に評価することにより,有用な情報を測定する。 中・長距離両方のコンテキストにおいて、いくつかの極めて破壊的なコンテキスト操作が使用可能な情報の15%未満を除去していることが判明した。
  論文  参考訳（メタデータ） (2021-06-15T18:38:57Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces [63.17308641484404]
  本稿では,異なる単語の意味の表現として,各単語の異なる事象のクラスタを特定することを提案する。 得られたクラスタの分解は、自然に4つのターゲット言語において、各ターゲットワードごとの意味的シフトのレベルを定量化することができる。 当社のアプローチは,提供されたすべてのSemEvalベースラインを抜いて,個別(言語毎)と全体の両方で良好に動作します。
  論文  参考訳（メタデータ） (2020-10-02T08:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。