論文の概要: Syntactic Perturbations Reveal Representational Correlates of
Hierarchical Phrase Structure in Pretrained Language Models
- arxiv url: http://arxiv.org/abs/2104.07578v1
- Date: Thu, 15 Apr 2021 16:30:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 14:59:40.564753
- Title: Syntactic Perturbations Reveal Representational Correlates of
Hierarchical Phrase Structure in Pretrained Language Models
- Title（参考訳）: 事前学習言語モデルにおける階層的フレーズ構造の構文摂動の相関
- Authors: Matteo Alleman, Jonathan Mamou, Miguel A Del Rio, Hanlin Tang, Yoon
Kim, SueYeon Chung
- Abstract要約: 文レベルの構文のどの側面がベクターベースの言語表現によってキャプチャされるのかは、完全には分かっていない。
このプロセスでは,トランスフォーマーが文のより大きな部分の層に感性を持たせることが示され,階層的な句構造が重要な役割を果たしている。
- 参考スコア（独自算出の注目度）: 22.43510769150502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While vector-based language representations from pretrained language models
have set a new standard for many NLP tasks, there is not yet a complete
accounting of their inner workings. In particular, it is not entirely clear
what aspects of sentence-level syntax are captured by these representations,
nor how (if at all) they are built along the stacked layers of the network. In
this paper, we aim to address such questions with a general class of
interventional, input perturbation-based analyses of representations from
pretrained language models. Importing from computational and cognitive
neuroscience the notion of representational invariance, we perform a series of
probes designed to test the sensitivity of these representations to several
kinds of structure in sentences. Each probe involves swapping words in a
sentence and comparing the representations from perturbed sentences against the
original. We experiment with three different perturbations: (1) random
permutations of n-grams of varying width, to test the scale at which a
representation is sensitive to word position; (2) swapping of two spans which
do or do not form a syntactic phrase, to test sensitivity to global phrase
structure; and (3) swapping of two adjacent words which do or do not break
apart a syntactic phrase, to test sensitivity to local phrase structure.
Results from these probes collectively suggest that Transformers build
sensitivity to larger parts of the sentence along their layers, and that
hierarchical phrase structure plays a role in this process. More broadly, our
results also indicate that structured input perturbations widens the scope of
analyses that can be performed on often-opaque deep learning systems, and can
serve as a complement to existing tools (such as supervised linear probes) for
interpreting complex black-box models.
- Abstract（参考訳）: 事前訓練された言語モデルのベクトルベース言語表現は、多くのNLPタスクに新しい標準を設定しているが、その内部動作の完全な説明はまだない。
特に、これらの表現によって、文レベルの構文のどの側面がキャプチャされるのか、ネットワークの積み重ねた層に沿ってどのように構築されるのかは、完全には明らかになっていない。
本稿では,これらの質問に対して,事前学習された言語モデルからの入力摂動に基づく表現の一般的なクラスで解き明かすことを目的とする。
計算および認知神経科学から表現不変性の概念をインポートし、これらの表現の感度を文中の様々な構造にテストするために設計された一連のプローブを実行する。
各プローブは、文中の単語をスワップし、乱れた文の表現を原文と比較する。
我々は,(1) 幅の異なるn-gramのランダムな摂動,(1) 表現が単語の位置に敏感な尺度の検証,(2) 統語句を形成するかしないかの2つのスパンの交換,(3) 統語句構造に敏感であるかの判定,(3) 統語句を分解しないかの2つの隣接する単語の交換,といった3つの異なる摂動を実験した。
これらの調査の結果は、トランスフォーマーが層に沿って文のより大きな部分に敏感に反応し、階層的な句構造がこの過程に果たす役割を示唆している。
より広範に、構造化された入力摂動は、しばしば不透明なディープラーニングシステムで実行できる分析の範囲を広げ、複雑なブラックボックスモデルを解釈するための既存のツール(教師付き線形プローブなど)の補完として機能することを示す。
関連論文リスト
- Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement [1.4335183427838039]
我々は,特定の特性を持つ大規模でキュレートされた合成データを開発するためのアプローチを採っている。
我々は、ブラックバード言語行列(Blackbird Language Matrices)と呼ばれる新しい複数選択タスクとデータセットを使用して、特定の文法構造現象に焦点を当てる。
多言語テキストを一貫した方法で訓練したにもかかわらず、多言語事前学習言語モデルには言語固有の違いがあることが示される。
論文 参考訳（メタデータ） (2024-09-10T14:58:55Z) - Linguistic Structure Induction from Language Models [1.8130068086063336]
この論文は、教師なし環境で言語モデル(LM)から選挙区構造と依存関係構造を生成することに焦点を当てている。
本稿では,エンコーダネットワークにトランスフォーマーアーキテクチャを組み込んだStructFormer(SF)について詳細に検討し,その構成と依存性について述べる。
この分野の課題を分析し、対処するための6つの実験を提示します。
論文 参考訳（メタデータ） (2024-03-11T16:54:49Z) - Learning Disentangled Speech Representations [0.412484724941528]
SynSpeechは、非絡み合った音声表現の研究を可能にするために設計された、新しい大規模合成音声データセットである。
本稿では, 線形探索と教師付きアンタングル化指標を併用して, アンタングル化表現学習手法を評価する枠組みを提案する。
SynSpeechは、さまざまな要因のベンチマークを促進し、ジェンダーや話し方のようなより単純な機能の切り離しを期待できると同時に、話者アイデンティティのような複雑な属性を分離する際の課題を強調します。
論文 参考訳（メタデータ） (2023-11-04T04:54:17Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Syntactic representation learning for neural network based TTS with
syntactic parse tree traversal [49.05471750563229]
本稿では,構文解析木に基づく構文表現学習手法を提案し,構文構造情報を自動的に活用する。
実験の結果,提案手法の有効性が示された。
複数の構文解析木を持つ文では、合成音声から韻律的差異が明確に認識される。
論文 参考訳（メタデータ） (2020-12-13T05:52:07Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z) - A Self-supervised Representation Learning of Sentence Structure for
Authorship Attribution [3.5991811164452923]
文の構造表現を学習するための自己教師型フレームワークを提案する。
本研究では,異なる探索タスクを用いて文の構造的表現を学習し,著者帰属タスクに活用する。
論文 参考訳（メタデータ） (2020-10-14T02:57:10Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳（メタデータ） (2020-10-11T15:13:18Z) - Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。
本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。
適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文 参考訳（メタデータ） (2020-09-10T03:53:18Z) - BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。
提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。
我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文 参考訳（メタデータ） (2020-04-29T04:01:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。