論文の概要: AST-Probe: Recovering abstract syntax trees from hidden representations of pre-trained language models

• arxiv url: http://arxiv.org/abs/2206.11719v1
• Date: Thu, 23 Jun 2022 14:09:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 18:01:28.295030
• Title: AST-Probe: Recovering abstract syntax trees from hidden representations of pre-trained language models
• Title（参考訳）: AST-Probe: 事前訓練された言語モデルの隠された表現から抽象構文木を復元する
• Authors: Jos\'e Antonio Hern\'andez L\'opez, Martin Weyssow, Jes\'us S\'anchez Cuadrado, Houari Sahraoui
• Abstract要約: 我々は、事前訓練された言語モデルの隠れ表現の中に、テクスチシンタクティックな部分空間が存在することを証明した。 このサブスペースは5つの最先端の事前訓練言語モデルに存在することを示す。 このことは、事前訓練された言語モデルがその表現空間のごく一部を使って、プログラミング言語の構文情報をエンコードしていることを示唆している。
• 参考スコア（独自算出の注目度）: 0.6719751155411076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The objective of pre-trained language models is to learn contextual representations of textual data. Pre-trained language models have become mainstream in natural language processing and code modeling. Using probes, a technique to study the linguistic properties of hidden vector spaces, previous works have shown that these pre-trained language models encode simple linguistic properties in their hidden representations. However, none of the previous work assessed whether these models encode the whole grammatical structure of a programming language. In this paper, we prove the existence of a \textit{syntactic subspace}, lying in the hidden representations of pre-trained language models, which contain the syntactic information of the programming language. We show that this subspace can be extracted from the models' representations and define a novel probing method, the AST-Probe, that enables recovering the whole abstract syntax tree (AST) of an input code snippet. In our experimentations, we show that this syntactic subspace exists in five state-of-the-art pre-trained language models. In addition, we highlight that the middle layers of the models are the ones that encode most of the AST information. Finally, we estimate the optimal size of this syntactic subspace and show that its dimension is substantially lower than those of the models' representation spaces. This suggests that pre-trained language models use a small part of their representation spaces to encode syntactic information of the programming languages.
• Abstract（参考訳）: 事前訓練された言語モデルの目的は、テキストデータの文脈表現を学習することである。 事前訓練された言語モデルは自然言語処理やコードモデリングにおいて主流になっている。 隠れベクトル空間の言語特性を研究する手法であるプローブを用いて、これらの事前学習された言語モデルは、隠れ表現に単純な言語特性をエンコードすることを示した。 しかし、以前の研究では、これらのモデルがプログラミング言語の文法構造全体をエンコードしているかどうかを評価しなかった。 本稿では,プログラム言語の構文情報を含む事前学習された言語モデルの隠れた表現にある,\textit{syntactic subspace} の存在を証明する。 このサブスペースはモデルの表現から抽出でき、入力コードスニペットの抽象構文木(AST)全体の復元を可能にする新しい探索手法AST-Probeを定義する。 実験では,この構文的部分空間が5つの最先端事前学習言語モデルに存在することを示す。 さらに、モデルの中間層がAST情報のほとんどをエンコードしている層であることを強調します。 最後に、この合成部分空間の最適サイズを推定し、その次元がモデルの表現空間のそれよりもかなり小さいことを示す。 このことは、事前訓練された言語モデルがその表現空間のごく一部を使って、プログラミング言語の構文情報をエンコードしていることを示唆している。

関連論文リスト

• Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation [82.5217996570387]
  我々は,自動回帰テキスト・画像生成のための事前学習言語モデルを適用した。 事前訓練された言語モデルは限られた助けを提供する。
  論文  参考訳（メタデータ） (2023-11-27T07:19:26Z)
• Wave to Syntax: Probing spoken language models for syntax [16.643072915927313]
  音声言語の自己教師型および視覚的基盤モデルにおける構文の符号化に着目する。 我々は、構文がネットワークの中間層で最も顕著に捉えられ、より多くのパラメータを持つモデルでより明確に表現されていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T11:43:18Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Probing Linguistic Information For Logical Inference In Pre-trained Language Models [2.4366811507669124]
  本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。 i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報を符号化するが、弱符号化された情報もいくつか存在する。 シンボリック推論支援のためのセマンティックおよび背景知識基盤としての言語モデルの可能性を実証した。
  論文  参考訳（メタデータ） (2021-12-03T07:19:42Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。