論文の概要: Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
- arxiv url: http://arxiv.org/abs/2010.09517v1
- Date: Mon, 19 Oct 2020 13:51:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 21:49:50.846783
- Title: Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
- Title(参考訳): ヘッドアップ!
セルフアテンションヘッドによる教師なし選挙区パーシング
- Authors: Bowen Li, Taeuk Kim, Reinald Kim Amplayo, Frank Keller
- Abstract要約: そこで本研究では, PLM の注目点から区切り木を抽出する, 完全に教師なしの構文解析手法を提案する。
我々は、トランスフォーマーのアテンションヘッドを、その特性に基づいてランク付けし、最終ツリーを生成するために、上位のヘッドのアンサンブルを作成します。
我々の実験は、PLMが暗黙的に学習する文法を分析するツールとしても利用できる。
- 参考スコア(独自算出の注目度): 27.578115452635625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer-based pre-trained language models (PLMs) have dramatically
improved the state of the art in NLP across many tasks. This has led to
substantial interest in analyzing the syntactic knowledge PLMs learn. Previous
approaches to this question have been limited, mostly using test suites or
probes. Here, we propose a novel fully unsupervised parsing approach that
extracts constituency trees from PLM attention heads. We rank transformer
attention heads based on their inherent properties, and create an ensemble of
high-ranking heads to produce the final tree. Our method is adaptable to
low-resource languages, as it does not rely on development sets, which can be
expensive to annotate. Our experiments show that the proposed method often
outperform existing approaches if there is no development set present. Our
unsupervised parser can also be used as a tool to analyze the grammars PLMs
learn implicitly. For this, we use the parse trees induced by our method to
train a neural PCFG and compare it to a grammar derived from a human-annotated
treebank.
- Abstract(参考訳): トランスフォーマティブベースの事前学習言語モデル(plms)は、多くのタスクでnlpの技術を劇的に改善した。
これにより、PLMが学習する統語的知識の分析に大きな関心が寄せられている。
この問題に対する以前のアプローチは限定的であり、主にテストスイートやプローブを使用していた。
本稿では,plmアテンションヘッドから構成木を抽出する新しい完全教師なし解析手法を提案する。
我々は,その固有特性に基づいて変圧器注意ヘッドをランク付けし,最終木を生成するための高位ヘッドのアンサンブルを作成する。
本手法は,アノテートに費用がかかる開発環境に依存しないため,低リソース言語に適用可能である。
提案手法は,開発セットが存在しない場合,既存の手法を上回ることも少なくないことを示す。
PLMが暗黙的に学習する文法を解析するためのツールとしても使用できる。
このために,本手法によって誘導されるパース木を用いて,ニューラルネットワークのpcfgを学習し,人間の注釈付き木バンクから派生した文法と比較する。
関連論文リスト
- Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。
我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。
OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
論文 参考訳(メタデータ) (2024-06-12T08:31:34Z) - Deep Natural Language Feature Learning for Interpretable Prediction [1.6114012813668932]
本稿では,メインの複雑なタスクを仲介しやすいサブタスクの集合に分解する手法を提案する。
本手法では,これらの質問に対する回答からなるベクトルで各例を表現できる。
我々は,学生のオープンエンド数学試験に対する回答の不整合性の検出と,気候変動と農業学に関する科学的論文の体系的な文献レビューのための要約のスクリーニングという,2つのまったく異なるタスクにこの手法を適用した。
論文 参考訳(メタデータ) (2023-11-09T21:43:27Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳(メタデータ) (2022-10-23T00:37:08Z) - Revisiting the Practical Effectiveness of Constituency Parse Extraction
from Pre-trained Language Models [6.850627526999892]
CPE-PLM (Constituency Parse extract from Pre-trained Language Models) は、事前訓練された言語モデルの内部知識にのみ依存する選挙区解析木を誘導しようとする最近のパラダイムである。
CPE-PLM は,数ショット設定での教師付き構文解析よりも有効であることを示す。
論文 参考訳(メタデータ) (2022-09-15T09:41:19Z) - Unsupervised and Few-shot Parsing from Pretrained Language Models [56.33247845224995]
本研究では,事前学習言語モデルで学習した自己注意重み行列に基づいて,アウトアソシエーションスコアを算出した教師なし構成的パーシングモデルを提案する。
教師なしモデルからいくつかの注釈付き木を用いた数ショット構文解析モデルに拡張し、解析のためのより優れた線形射影行列を学習する。
FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。
論文 参考訳(メタデータ) (2022-06-10T10:29:15Z) - Sort by Structure: Language Model Ranking as Dependency Probing [25.723591566201343]
事前学習型言語モデル (LM) のインフォームドな選択は、性能上重要であるが、環境上はコストがかかる。
本稿では,LMの文脈的埋め込みからラベル付き木が回復可能な程度を計測することにより,特定の言語における依存関係を解析するために,LMのランク付けを提案する。
本手法は,46のタイプ的およびアーキテクチャ的に多様なLM言語対に対して,計算量の少ない命令の79%のLM選択を,計算量の少ない命令のフルグレードのトレーニングよりも最適に予測する。
論文 参考訳(メタデータ) (2022-06-10T08:10:29Z) - Compositional Task-Oriented Parsing as Abstractive Question Answering [25.682923914685063]
タスク指向構文解析は、自然言語をアラームの設定など特定のタスクの機械可読表現に変換することを目的としている。
TOP に対する一般的なアプローチは、線形化されたパースツリーを生成するために seq2seq モデルを適用することである。
より最近の研究は、事前訓練されたSeq2seqモデルは、それ自体が自然言語である出力を生成するのに優れており、線形化されたパースツリーを標準自然言語のパラフレーズに置き換えていると主張している。
論文 参考訳(メタデータ) (2022-05-04T14:01:08Z) - Know What You Don't Need: Single-Shot Meta-Pruning for Attention Heads [114.77890059625162]
微調整前に深部学習前変換器を圧縮する単一ショットメタプランニング法を提案する。
下流の様々なタスクに適応的に不必要な注意を向けることに注力する。
事前学習したモデルに対する既存の圧縮手法と比較して、微調整と推論の両方のオーバーヘッドを低減することができる。
論文 参考訳(メタデータ) (2020-11-07T12:58:37Z) - Strongly Incremental Constituency Parsing with Graph Neural Networks [70.16880251349093]
文を構文木にパースすることは、NLPの下流アプリケーションに恩恵をもたらす。
トランジッションベースは、状態遷移システムでアクションを実行することでツリーを構築する。
既存のトランジションベースは主にシフト・リデュース・トランジション・システムに基づいている。
論文 参考訳(メタデータ) (2020-10-27T19:19:38Z) - Is Supervised Syntactic Parsing Beneficial for Language Understanding?
An Empirical Investigation [71.70562795158625]
従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。
近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。
本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
論文 参考訳(メタデータ) (2020-08-15T21:03:36Z) - Towards an evolutionary-based approach for natural language processing [14.760703384346984]
本稿では,GP と NLP ツール Word2vec を組み合わせた最初の概念証明を提案する。
第一の考え方は、一度単語がベクトル空間に移動されると、従来のGP演算子はベクトル上でうまく働き、それによって意味のある単語を出力として生成する、というものである。
論文 参考訳(メタデータ) (2020-04-23T18:44:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。