論文の概要: Everyone Was Right: Lexical Representations in Language Models Are Both Abstract and Holistic

• arxiv url: http://arxiv.org/abs/2610.17538v1
• Date: Tue, 13 Oct 2026 01:04:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:29:19.358924
• Title: Everyone Was Right: Lexical Representations in Language Models Are Both Abstract and Holistic
• Title（参考訳）: 誰もが正しかった:言語モデルにおける語彙表現は抽象的かつ全体論的である
• Abstract要約: 語彙表現は、特定の文脈に特有の抽象情報と情報をエンコードすることができる。 6つの事前訓練された変圧器と2つの言語カテゴリーにまたがって、相互作用は一貫して存在する。 入力が加法構造のみを含む場合でも、人工言語学習者でも対話が生じる。
• 参考スコア（独自算出の注目度）: 2.642708568406574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lexical representations can encode both abstract information and information specific to particular contexts. We investigate how these forms of information are organized in language models by decomposing contextual word representations into item, class, and word-class interaction components. Across six pretrained transformers and two linguistic categories, we find that the interaction is consistently present, grows across layers, and contains information associated with both item and class. Unlike the nearly orthogonal item and class effects, the interaction overlaps with both and encodes class information beyond the shared class effect. An interaction also emerges in artificial-language learners even when the input contains only additive structure. Together, these findings show that lexical representations combine abstract information with structure specific to particular word-class combinations.
• Abstract（参考訳）: 語彙表現は、特定の文脈に特有の抽象情報と情報をエンコードすることができる。 文脈表現をアイテム,クラス,ワードクラスのインタラクションコンポーネントに分解することで,これらの形態の情報を言語モデルでどのように構成するかを検討する。 6つの事前訓練されたトランスフォーマーと2つの言語カテゴリにまたがって、相互作用は一貫して存在し、層をまたいで成長し、アイテムとクラスの両方に関連する情報を含んでいることがわかった。 ほぼ直交のアイテムやクラスエフェクトとは異なり、相互作用は両方の重なり合い、共有クラスエフェクトを超えてクラス情報をエンコードする。 入力が加法構造のみを含む場合でも、人工言語学習者でも対話が生じる。 これらの結果から,語彙表現は抽象情報と,特定の単語-クラスの組み合わせに特有の構造とを結合していることが示唆された。

関連論文リスト

• Incorporating Lexical and Syntactic Knowledge for Unsupervised Cross-Lingual Transfer [4.944761231728674]
  我々は"Lexicon-Syntax Enhanced Multilingual BERT"と呼ばれる新しいフレームワークを提案する。 我々は、ベースモデルとしてMultilingual BERTを使用し、学習能力を高めるために2つの手法を用いています。 実験の結果、このフレームワークはゼロショット・クロスランガル転送のすべてのベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-04-25T14:10:52Z)
• Using Shapley interactions to understand how models use structure [9.93791871599425]
  我々は、Shapley Taylorインタラクション指標(STII)を用いて、言語モデルと音声モデルが内部的にどのように関係し、その入力を構造化するかを調べる。 モデル内の相互作用パターンを,構文構造,非構成的意味論,音声的協調という3つの基礎的言語構造に関連付ける。
  論文  参考訳（メタデータ） (2024-03-19T19:13:22Z)
• SpaDeLeF: A Dataset for Hierarchical Classification of Lexical Functions for Collocations in Spanish [6.9454683800956705]
  スペイン語の動詞・名詞のコロケーションと文の出現頻度が最も高いデータセットを提示する。 各コロケーションは、階層分類タスクのクラスとして定義される37の語彙関数の1つに割り当てられる。 木構造にクラスを結合し,構造レベル毎に分類対象を導入する。
  論文  参考訳（メタデータ） (2023-11-07T18:32:34Z)
• X-PARADE: Cross-Lingual Textual Entailment and Information Divergence across Paragraphs [55.80189506270598]
  X-PARADEは、段落レベルの情報の分岐の最初の言語間データセットである。 アノテーションは、対象言語における段落をスパンレベルでラベル付けし、ソース言語における対応する段落に対して評価する。 アライメントされた段落は、異なる言語のウィキペディアページから引用される。
  論文  参考訳（メタデータ） (2023-09-16T04:34:55Z)
• Hierarchical Open-vocabulary Universal Image Segmentation [48.008887320870244]
  Open-vocabulary Image segmentationは、任意のテキスト記述に従ってイメージをセマンティック領域に分割することを目的としている。 我々は,「モノ」と「スタッフ」の双方に対して,分離されたテキストイメージ融合機構と表現学習モジュールを提案する。 HIPIE tackles, HIerarchical, oPen-vocabulary, unIvErsal segmentation task in a unified framework。
  論文  参考訳（メタデータ） (2023-07-03T06:02:15Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
  画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。 提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-04-20T17:56:24Z)
• High-dimensional distributed semantic spaces for utterances [0.2907403645801429]
  本稿では,発話とテキストレベルデータの高次元表現モデルについて述べる。 言語情報を表現する数学的原理と行動学的に妥当なアプローチに基づいている。 本論文は,固定次元の共通積分フレームワークにおいて,実装モデルが言語的特徴を広範囲に表すことができるかを示す。
  論文  参考訳（メタデータ） (2021-04-01T12:09:47Z)
• Decomposing lexical and compositional syntax and semantics with deep language models [82.81964713263483]
  GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。 本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。 その結果は2つの結果が浮かび上がった。 まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
  論文  参考訳（メタデータ） (2021-03-02T10:24:05Z)
• Semantic Disentangling Generalized Zero-Shot Learning [50.259058462272435]
  Generalized Zero-Shot Learning (GZSL)は、目に見えないカテゴリと見えないカテゴリの両方から画像を認識することを目的としている。 本稿では,エンコーダ・デコーダアーキテクチャに基づく新しい特徴分割手法を提案する。 提案モデルは,視像の固有特徴をキャプチャする品質意味一貫性表現を蒸留することを目的としている。
  論文  参考訳（メタデータ） (2021-01-20T05:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。