論文の概要: Generalization through Lexical Abstraction in Transformer Models: The Case of Functional Words

• arxiv url: http://arxiv.org/abs/2609.19887v1
• Date: Thu, 17 Sep 2026 08:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.170226
• Title: Generalization through Lexical Abstraction in Transformer Models: The Case of Functional Words
• Title（参考訳）: 変圧器モデルにおける語彙抽象化による一般化:機能語の場合
• Abstract要約: 並列語彙化文と関数型文の埋め込みにおける共有構文構造と意味構造を探索する。 機能的単語は名詞と比較して中心的な位置にあるが、また区別されている。 平行な(語彙化され機能的な)文の埋め込みの分析は、埋め込み空間の異なる部分空間を示している。
• 参考スコア（独自算出の注目度）: 1.1036757136988322
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pronouns, adverbs and other functional words (such as they, her, somewhere, there) are often used in language to replace concrete nouns or phrases, when their properties - such as gender, grammatical number - provide sufficient information for the given context. Do pretrained transformer models encode such functional words in a manner that allows them to be used like humans do? Can language models recognize the syntactic and semantic parallelism of sentences such as "The researchers wrote the paper" and "They wrote it", which relies on such lexical abstraction? We map these linguistic questions into the embedding space of a pretrained transformer model, and compare representations of nouns, with the representations of the pronouns and adverbs that can replace these nouns, in isolation and in parallel lexicalized and functional sentences. We then probe for shared syntactic and semantic structure in the embeddings of parallel lexicalized and functional sentences. We find that functional words are located centrally compared to nouns, but are also distinct, which is congruent with their behaviour as place-holders in a wide variety of contexts. The analysis of the embeddings of parallel (lexicalized and functional) sentences show them inhabiting different subspaces of the embedding space. Experiments that distil the structural information of the sentence show that training on either type of data does not reveal the shared structure - because of the over-consistency of the vocabulary (in case of the functional data), and the too much variety (in case of the lexicalized versions). However, training with a mix of functional and lexicalized sentences, the shared structure emerges.
• Abstract（参考訳）: 名詞、副詞、その他の機能的な単語(それら、彼女、そこら、そこら)は、特定の文脈に十分な情報を提供するときに、具体的名詞や句を置き換えるためにしばしば言語で使われる。 事前訓練されたトランスフォーマーモデルは、そのような機能的な単語を人間のように使用できるようにエンコードしているか? 言語モデルは、そのような語彙的抽象に依存する「研究者が論文を書いた」や「それらがそれを書いた」といった文の構文的・意味的並列性を認識することができるだろうか。 我々は、これらの言語質問を事前訓練されたトランスフォーマーモデルの埋め込み空間にマッピングし、名詞の表現を、これらの名詞を置き換える代名詞や副詞の表現と比較する。 次に、並列語彙化文と関数型文の埋め込みにおける共有構文構造と意味構造を探索する。 機能的単語は名詞と比較して中心的な位置にあるが,多種多様な文脈におけるプレースホルダーとしての行動と一致している。 平行な(語彙化され機能的な)文の埋め込みの分析は、埋め込み空間の異なる部分空間に居住していることを示す。 文の構造情報を消去する実験は、語彙(機能データの場合)と多種多様(語彙化バージョンの場合)の過剰な一貫性のため、どちらの種類のデータでも訓練が共有構造を明らかにしないことを示している。 しかし,機能的文と語彙的文が混在して学習を行うと,共有構造が出現する。

関連論文リスト

• Towards a theory of morphology-driven marking in the lexicon: The case of the state [0.0]
  形態素駆動マーキングと呼ばれる形式モデルを提案する。 名詞はモジュラー認知集合に編成され、それぞれが独自の形態的テンプレートと無意味な形式を持つ。 状態の概念をすべての合成言語に拡張することが提案されている。
  論文  参考訳（メタデータ） (2026-04-03T19:35:41Z)
• Vocabulary embeddings organize linguistic structure early in language model training [3.2661767443292646]
  大規模言語モデル(LLM)は、入力埋め込みベクトルの幾何を複数の層で操作することで機能する。 ここでは、言語モデルの入力語彙表現がどのように構造化され、この構造はトレーニング中にどのように進化しますか? 入力埋め込みの幾何学的構造と2つのオープンソースモデルの出力埋め込みを、セマンティック、構文、周波数ベースのメトリクスで関連付ける一連の実験を行った。
  論文  参考訳（メタデータ） (2025-10-08T23:26:22Z)
• Unsupervised Mapping of Arguments of Deverbal Nouns to Their Corresponding Verbal Labels [52.940886615390106]
  デバーバル名詞は英語の文章でよく使われる動詞で、出来事や行動やその議論を記述している。 名前付けされた構成の引数を扱うために存在する解決策は意味論的アノテーションに基づいている。 本稿では,より統語的アプローチを導入し,デバーバル名詞の議論を対応する動詞構成にマッピングする。
  論文  参考訳（メタデータ） (2023-06-24T10:07:01Z)
• A Method for Studying Semantic Construal in Grammatical Constructions with Interpretable Contextual Embedding Spaces [11.564029462243631]
  本研究では,大言語モデルを用いた文法構成における意味論的コンストラクトについて検討する。 対象位置にある単語は、対象位置にある単語と全く同じ単語よりも、より有効なものとして解釈されることを示す。 本手法は, 特定のレキセムから抽象化された, テンポラティクスレベルでの構文構成の分布的意味を探索することができる。
  論文  参考訳（メタデータ） (2023-05-29T20:30:38Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Noun2Verb: Probabilistic frame semantics for word class conversion [8.939269057094661]
  本稿では,新規な名詞用動詞の生成と理解をシミュレートする形式的枠組みを提案する。 話者とリスナーが協調して意味的フレーム要素上の結合分布を学習するモデルは、経験的名詞使用法をよりよく説明できることを示す。
  論文  参考訳（メタデータ） (2022-05-12T19:16:12Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Comparative Analysis of Word Embeddings for Capturing Word Similarities [0.0]
  分散言語表現は、様々な自然言語処理タスクにおいて、言語表現において最も広く使われている技術となっている。 ディープラーニング技術に基づく自然言語処理モデルのほとんどは、単語埋め込みと呼ばれる、すでに訓練済みの分散単語表現を使用している。 適切な単語の埋め込みを選択することは 複雑な作業です なぜなら、投影された埋め込み空間は 人間にとって直感的ではないからです
  論文  参考訳（メタデータ） (2020-05-08T01:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。