論文の概要: Deep Clustering of Text Representations for Supervision-free Probing of Syntax

• arxiv url: http://arxiv.org/abs/2010.12784v2
• Date: Wed, 1 Dec 2021 23:18:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 12:53:10.897448
• Title: Deep Clustering of Text Representations for Supervision-free Probing of Syntax
• Title（参考訳）: 構文の教師なし検索のためのテキスト表現の深いクラスタリング
• Authors: Vikram Gupta, Haoyue Shi, Kevin Gimpel, Mrinmaya Sachan
• Abstract要約: 本研究では,音声誘導 (POSI) と選挙区ラベリング (CoLab) の一部を考察する。 また,Multilingual BERT (mBERT) には,驚くほど多くの英語の構文知識が含まれていることがわかった。 本稿では,45 タグの英語 POSI の競争性能,12 タグの英語 POSI の10言語間における最先端性能,CoLab の競争結果について報告する。
• 参考スコア（独自算出の注目度）: 51.904014754864875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore deep clustering of text representations for unsupervised model interpretation and induction of syntax. As these representations are high-dimensional, out-of-the-box methods like KMeans do not work well. Thus, our approach jointly transforms the representations into a lower-dimensional cluster-friendly space and clusters them. We consider two notions of syntax: Part of speech Induction (POSI) and constituency labelling (CoLab) in this work. Interestingly, we find that Multilingual BERT (mBERT) contains surprising amount of syntactic knowledge of English; possibly even as much as English BERT (EBERT). Our model can be used as a supervision-free probe which is arguably a less-biased way of probing. We find that unsupervised probes show benefits from higher layers as compared to supervised probes. We further note that our unsupervised probe utilizes EBERT and mBERT representations differently, especially for POSI. We validate the efficacy of our probe by demonstrating its capabilities as an unsupervised syntax induction technique. Our probe works well for both syntactic formalisms by simply adapting the input representations. We report competitive performance of our probe on 45-tag English POSI, state-of-the-art performance on 12-tag POSI across 10 languages, and competitive results on CoLab. We also perform zero-shot syntax induction on resource impoverished languages and report strong results.
• Abstract（参考訳）: 教師なしモデル解釈のためのテキスト表現の深いクラスタリングと構文の誘導について検討する。 これらの表現は高次元であるため、kmeansのような既定の手法はうまく機能しない。 従って、このアプローチは、表現を低次元のクラスタフレンドリな空間に変換し、それらをクラスタ化する。 本研究では,音声誘導(POSI)と補聴器ラベリング(CoLab)という2つの構文概念について考察する。 興味深いことに、Multilingual BERT (mBERT) には驚くほど多くの英語の構文知識が含まれている。 我々のモデルは監視不要なプローブとして利用することができる。 教師なしプローブは教師なしプローブに比べて上位層の利点を示す。 さらに、我々の教師なしプローブは ebert と mbert の表現、特に posi の表現が異なることに注意する。 我々は,教師なし構文誘導手法としての有効性を示すことにより,プローブの有効性を検証する。 我々のプローブは、入力表現を単純に適応させることによって、両方の構文形式にうまく機能する。 本稿では,45 タグの英語 POSI の競争性能,12 タグの英語 POSI の10言語間における最先端性能,CoLab の競争結果について報告する。 また,資源不足言語に対してゼロショット構文インダクションを行い,強い結果を報告する。

関連論文リスト

• Do Syntactic Probes Probe Syntax? Experiments with Jabberwocky Probing [45.834234634602566]
  学習データにおける意味的手がかりは,構文的プローブが適切に構文を分離しないことを意味する。 私たちは、いくつかの人気のある言語モデルでプローブをトレーニングします。
  論文  参考訳（メタデータ） (2021-06-04T15:46:39Z)
• Improving BERT with Syntax-aware Local Attention [14.70545694771721]
  そこで本研究では,構文構造における距離を対象とする局所的注意度(局所注意度)を提案する。 文分類やシーケンスラベリングタスクなど,シングルセンテンスベンチマークの各種実験を行った。 我々のモデルは、構文的に関連のある単語により注意を払って、より良いパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-12-30T13:29:58Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。