論文の概要: A polar coordinate system represents syntax in large language models

• arxiv url: http://arxiv.org/abs/2412.05571v1
• Date: Sat, 07 Dec 2024 07:37:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:56.694894
• Title: A polar coordinate system represents syntax in large language models
• Title（参考訳）: 極座標系は大きな言語モデルにおける構文を表す
• Authors: Pablo Diego-Simón, Stéphane D'Ascoli, Emmanuel Chemla, Yair Lakretz, Jean-Rémi King,
• Abstract要約: 構文木は、大きな言語モデルの活性化において効果的に表されることもある。 単語埋め込み間の距離と方向の両方から統語的関係を読み取るために訓練された「Polar Probe」を導入する。 まず、私たちの極性プローブは、構文関係のタイプと方向を回復し、構造プローブをほぼ2倍に大きく上回っています。
• 参考スコア（独自算出の注目度）: 12.244752597245645
• License:
• Abstract: Originally formalized with symbolic representations, syntactic trees may also be effectively represented in the activations of large language models (LLMs). Indeed, a 'Structural Probe' can find a subspace of neural activations, where syntactically related words are relatively close to one-another. However, this syntactic code remains incomplete: the distance between the Structural Probe word embeddings can represent the existence but not the type and direction of syntactic relations. Here, we hypothesize that syntactic relations are, in fact, coded by the relative direction between nearby embeddings. To test this hypothesis, we introduce a 'Polar Probe' trained to read syntactic relations from both the distance and the direction between word embeddings. Our approach reveals three main findings. First, our Polar Probe successfully recovers the type and direction of syntactic relations, and substantially outperforms the Structural Probe by nearly two folds. Second, we confirm that this polar coordinate system exists in a low-dimensional subspace of the intermediate layers of many LLMs and becomes increasingly precise in the latest frontier models. Third, we demonstrate with a new benchmark that similar syntactic relations are coded similarly across the nested levels of syntactic trees. Overall, this work shows that LLMs spontaneously learn a geometry of neural activations that explicitly represents the main symbolic structures of linguistic theory.
• Abstract（参考訳）: 当初、記号表現で形式化された構文木は、大きな言語モデル(LLM)の活性化において効果的に表される。 実際、「構造的プローブ」は、構文的に関連する単語が互いに相対的に近いような、神経活動のサブスペースを見つけることができる。 しかし、この構文的符号は不完全であり、構造的プローブ語埋め込みの間の距離は、構文的関係のタイプや方向を表すものではない。 ここでは、構文的関係は、実際には、近傍の埋め込みの間の相対的な方向によってコード化されていると仮定する。 この仮説をテストするために,単語埋め込み間の距離と方向の両方から統語的関係を読み取るために訓練された'Polar Probe'を導入する。 アプローチでは3つの主な所見が明らかになった。 まず、私たちの極性プローブは、構文関係のタイプと方向を回復し、構造プローブをほぼ2倍の性能で大幅に向上させる。 第二に、この極座標系が多くのLCMの中間層の低次元部分空間に存在することを確認し、最新のフロンティアモデルではますます正確になる。 第三に、同様の構文関係が、ネストした構文木でも同様にコード化されていることを新しいベンチマークで示している。 全体として、この研究はLLMが言語理論の主要な記号構造を明示的に表す神経活性化の幾何学を自然に学習していることを示している。

関連論文リスト

• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Syntactic Persistence in Language Models: Priming as a Window into Abstract Language Representations [0.38498574327875945]
  本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。 プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。 単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
  論文  参考訳（メタデータ） (2021-09-30T10:38:38Z)
• Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars [10.232142358698605]
  計算言語学では、階層構造が言語モデル(LM)をより人間らしくすることが示された。 本稿では,階層構造がLMをより人間らしくするかどうかを考察し,その場合,どの解析戦略が最も認知的に妥当かを検討した。
  論文  参考訳（メタデータ） (2021-09-10T15:35:00Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Decomposing lexical and compositional syntax and semantics with deep language models [82.81964713263483]
  GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。 本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。 その結果は2つの結果が浮かび上がった。 まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
  論文  参考訳（メタデータ） (2021-03-02T10:24:05Z)
• High-order Semantic Role Labeling [86.29371274587146]
  本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。 これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
  論文  参考訳（メタデータ） (2020-10-09T15:33:54Z)
• LSTMs Compose (and Learn) Bottom-Up [18.34617849764921]
  NLPにおける最近の研究は、LSTM言語モデルが言語データの階層構造を捉えていることを示している。 既存の研究とは対照的に,その構成行動に繋がるテキスト学習のプロセスを考える。 本稿では,LSTMにおける単語の意味間の分解的相互依存性を,ゲート間の相互作用に基づいて測定する。
  論文  参考訳（メタデータ） (2020-10-06T13:00:32Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• Word Interdependence Exposes How LSTMs Compose Representations [18.34617849764921]
  NLPにおける最近の研究は、LSTM言語モデルが言語データの構成構造を捉えていることを示している。 LSTMにおける単語の意味間の相互依存度を,内部ゲートでの相互作用に基づく新しい尺度として提示する。
  論文  参考訳（メタデータ） (2020-04-27T21:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。