論文の概要: Are Pre-trained Language Models Aware of Phrases? Simple but Strong
Baselines for Grammar Induction
- arxiv url: http://arxiv.org/abs/2002.00737v1
- Date: Thu, 30 Jan 2020 11:06:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 11:27:35.654511
- Title: Are Pre-trained Language Models Aware of Phrases? Simple but Strong
Baselines for Grammar Induction
- Title（参考訳）: 事前訓練された言語モデルはフレーズに気付くか?
文法誘導のための単純だが強いベースライン
- Authors: Taeuk Kim, Jihun Choi, Daniel Edmiston, and Sang-goo Lee
- Abstract要約: 本稿では,事前学習したLMが選挙区の統語的概念をどの程度捉えているかを調べるために,新しい手法を提案する。
本手法は,事前学習したLMから選択木を学習せずに抽出する有効な方法である。
文中の副詞句を正しく区切るために,事前学習したLMが他の手法よりも優れていることなど,誘導木で興味深い発見を報告する。
- 参考スコア（独自算出の注目度）: 18.75230556806903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the recent success and popularity of pre-trained language models (LMs)
in natural language processing, there has been a rise in efforts to understand
their inner workings. In line with such interest, we propose a novel method
that assists us in investigating the extent to which pre-trained LMs capture
the syntactic notion of constituency. Our method provides an effective way of
extracting constituency trees from the pre-trained LMs without training. In
addition, we report intriguing findings in the induced trees, including the
fact that pre-trained LMs outperform other approaches in correctly demarcating
adverb phrases in sentences.
- Abstract（参考訳）: 近年,自然言語処理における事前学習型言語モデル(LM)の成功と普及により,言語の内部動作を理解する努力が増加している。
このような関心に則って,事前学習されたLMが選挙区の統語的概念をどの程度捉えているかを調べるための新しい手法を提案する。
本手法は,事前学習したLMから選択木を学習せずに抽出する有効な方法である。
さらに,先行学習したLMが文中の副詞句を正しく区切りする上で,他のアプローチよりも優れていることなど,誘導木における興味深い発見を報告する。
関連論文リスト
- Assessing Phrase Break of ESL Speech with Pre-trained Language Models
and Large Language Models [7.782346535009883]
本研究では,事前学習言語モデル (PLM) と大規模言語モデル (LLM) を用いて,ESL学習者の音声における句分割の評価手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T07:10:39Z) - Pretraining Language Models with Human Preferences [21.724817280998696]
言語モデル(LM)はインターネットテキストを模倣するために事前訓練されている。
そこで本研究では,人間の嗜好に沿ったテキストを生成する方法として,LMの事前学習のための代替目的について検討する。
論文 参考訳（メタデータ） (2023-02-16T21:03:33Z) - LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。
我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
論文 参考訳（メタデータ） (2022-11-10T05:09:16Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳（メタデータ） (2022-10-23T00:37:08Z) - Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。
簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。
当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
論文 参考訳（メタデータ） (2021-03-20T03:57:59Z) - SLM: Learning a Discourse Language Representation with Sentence
Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。
本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-10-30T13:33:41Z) - Reusing a Pretrained Language Model on Languages with Limited Corpora
for Unsupervised NMT [129.99918589405675]
本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。
モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。
我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
論文 参考訳（メタデータ） (2020-09-16T11:37:10Z) - Multilingual Chart-based Constituency Parse Extraction from Pre-trained
Language Models [21.2879567125422]
本稿では,事前学習した言語モデルから完全(バイナリ)構文を抽出する手法を提案する。
本手法を多言語 PLM に適用することにより,9つの言語から文に対する非自明なパースを導き出すことができる。
論文 参考訳（メタデータ） (2020-04-08T05:42:26Z) - Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。
その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。
我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
論文 参考訳（メタデータ） (2020-04-07T21:21:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。