論文の概要: Analysing the Linearity of Linguistic Relations in Language Model Embedding Spaces

• arxiv url: http://arxiv.org/abs/2609.21655v1
• Date: Fri, 18 Sep 2026 11:53:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.065478
• Title: Analysing the Linearity of Linguistic Relations in Language Model Embedding Spaces
• Title（参考訳）: 言語モデル埋め込み空間における言語関係の線形性の解析
• Abstract要約: 関係する単語対と無関係な単語対に対する制約付き線形近似を用いて線形符号化を定式化する。 実験では、反射的および導出的関係に対して、ほぼ完璧な線形符号化を示すが、語彙的および百科事典的関係において、かなり高い誤差を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a framework to analyse how strongly different linguistic relations are linearly encoded in language model embedding spaces. We formalise linear encoding via a constrained linear approximation over related and unrelated word pairs and apply this to an extended BATS dataset covering inflectional, derivational, lexicographic, and encyclopedic relations in GloVe, RoBERTa, and ModernBERT. Our experiments show near-perfect linear encodings for inflectional and derivational relations, but substantially higher errors for lexicographic and encyclopedic relations, especially for one-to-many and many-to-many associations. We also find that RoBERTa and ModernBERT generally encode relations more linearly than GloVe. These results indicate that our framework can reveal which relational structures are most linearly accessible in embeddings, offering a compact tool for probing and comparing relational geometry across models.
• Abstract（参考訳）: 本稿では,言語モデル埋め込み空間において,言語関係がいかに強く線形に符号化されているかを分析する枠組みを提案する。 本稿では,関係する単語対と関係のない単語対に対する制約付き線形近似を用いて線形符号化を定式化し,GloVe,RoBERTa,ModernBERTの屈折,導出,語彙,百科事典関係をカバーする拡張BATSデータセットに適用する。 提案実験では, ほぼ完全な線形符号化による屈折と導出の関係を示すが, 語彙的および百科事典的関係, 特に1対多および多対多の関連について, かなり高い誤差を示す。 また、RoBERTaとModernBERTは一般にGloVeよりも線形に関係を符号化している。 これらの結果は, モデル間の関係構造を探索・比較するためのコンパクトなツールとして, 組込みにおいてどの関係構造が最も線形にアクセス可能であるかを明らかにすることができることを示唆している。

関連論文リスト

• Graph Fusion Across Languages using Large Language Models [1.0609815608017066]
  本稿では,Large Language Models (LLMs) の文脈内推論と多言語セマンティクスを利用した,言語間グラフ融合のためのフレームワークを提案する。 このフレームワークは、トリップレットを直接自然言語シーケンスにマッピングすることで、構造的線形化を実装している。
  論文  参考訳（メタデータ） (2026-03-22T14:10:09Z)
• The Structure of Relation Decoding Linear Operators in Large Language Models [0.5219568203653522]
  変換言語モデルにおける特定の関係事実をデコードする線形演算子の構造について検討する。 このような関係復号器の集合は, 単純な順序3テンソルネットワークによって高度に圧縮可能であることを示す。 そこで本研究では, 変換言語モデルにおける線形リレーショナルデコーディングを, 関係固有性ではなく, 主に特性ベースとして解釈する。
  論文  参考訳（メタデータ） (2025-10-30T14:36:09Z)
• Linear Relational Decoding of Morphology in Language Models [7.826806223782053]
  二つのアフィン近似は、ある種の対象物関係に対する変圧器の計算によい近似であることがわかった。 s が対象トークンの中間層表現であり、W がモデル微分から導出される線形変換 Ws は、多くの関係において最終対象状態の正確な再現も可能であることを示す。
  論文  参考訳（メタデータ） (2025-07-19T14:35:15Z)
• Relational Deep Learning: Challenges, Foundations and Next-Generation Architectures [50.46688111973999]
  グラフ機械学習は、任意のグラフ構造化データで学習するモデルの能力を大幅に向上させた。 従来の工学的特徴を伴わない'関係エンティティグラフ'のエンドツーエンド表現を可能にする新しい青写真を提案する。 本稿では、大規模マルチテーブル統合や、時間力学と異種データのモデリングの複雑さなど、重要な課題について論じる。
  論文  参考訳（メタデータ） (2025-06-19T23:51:38Z)
• RelBERT: Embedding Relations with Language Models [29.528217625083546]
  比較的小さな言語モデルから関係埋め込みを抽出する。 RelBERTは驚くほど微細な方法でリレーショナル類似性をキャプチャする。 トレーニング中にモデルが見た以上の関係をモデル化することが可能です。
  論文  参考訳（メタデータ） (2023-09-30T08:15:36Z)
• Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
  トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
  論文  参考訳（メタデータ） (2023-08-17T17:59:19Z)
• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。