Fugu-MT 論文翻訳(概要): Discourse Probing of Pretrained Language Models

論文の概要: Discourse Probing of Pretrained Language Models

arxiv url: http://arxiv.org/abs/2104.05882v1
Date: Tue, 13 Apr 2021 01:04:31 GMT
ステータス: 処理完了
システム内更新日: 2021-04-15 00:54:10.108880
Title: Discourse Probing of Pretrained Language Models
Title（参考訳）: 事前学習型言語モデルの談話探索
Authors: Fajri Koto and Jey Han Lau and Timothy Baldwin
Abstract要約: 文書レベルの関係を捉えるための事前訓練されたLMの能力を評価するために,文書レベルの談話探索を導入する。 7つのプリトレーニングされたLM、4つの言語、7つの対話プロービングタスクを実験します。
参考スコア（独自算出の注目度）: 33.46519116869276
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing work on probing of pretrained language models (LMs) has predominantly focused on sentence-level syntactic tasks. In this paper, we introduce document-level discourse probing to evaluate the ability of pretrained LMs to capture document-level relations. We experiment with 7 pretrained LMs, 4 languages, and 7 discourse probing tasks, and find BART to be overall the best model at capturing discourse -- but only in its encoder, with BERT performing surprisingly well as the baseline model. Across the different models, there are substantial differences in which layers best capture discourse information, and large disparities between models.
Abstract（参考訳）: 事前訓練された言語モデル(LM)の探索に関する既存の研究は、主に文レベルの構文タスクに焦点を当てている。本稿では,事前学習したLMが文書レベルの関係を捉える能力を評価するために,文書レベルの談話分析を導入する。事前訓練された7つのLM、4つの言語、7つの言論探索タスクを実験し、BARTが言論を捉えるのに最適なモデルであることを発見した。異なるモデル全体では、層が談話情報を取り込むのに最も適しており、モデル間の大きな格差がある。

関連論文リスト

A Comparison of Language Modeling and Translation as Multilingual Pretraining Objectives [13.581385765600265]
プレトレーニング言語モデル(PLM)は優れたパフォーマンスを示し、NLPコミュニティの注目を集めている。本稿では,制御された方法論環境における多言語事前学習目標の比較を提案する。
論文参考訳（メタデータ） (2024-07-22T09:16:30Z)
Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations [0.7874708385247353]
会話における感情認識(ERC)を実現するための2つのアプローチを組み合わせることを提案する。我々は,事前に訓練したRoBERTaに発話と以前の会話のターンを供給し,文脈的埋め込み発話表現を得る。広く使われているDailyDialog ERCベンチマークデータセットに対するアプローチを検証する。
論文参考訳（メタデータ） (2023-09-08T12:26:01Z)
A Side-by-side Comparison of Transformers for English Implicit Discourse Relation Classification [0.42970700836450487]
この研究は、7つの事前訓練された言語モデルの直感的かつ微妙な言論性能の比較である。モデル探索により,SOTAは0.671ACCまで上昇し,新しい観測結果を得た。
論文参考訳（メタデータ） (2023-07-07T04:12:25Z)
Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
論文参考訳（メタデータ） (2023-05-24T14:06:27Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese [4.4681678689625715]
低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
論文参考訳（メタデータ） (2022-05-21T06:44:59Z)
Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文参考訳（メタデータ） (2021-10-04T08:51:36Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。コントラスト学習に基づく新しい事前学習課題を提案する。単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
論文参考訳（メタデータ） (2020-07-15T16:58:01Z)
A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。 13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。その結果,PRALは最先端の手法と同等以上の性能を示した。
論文参考訳（メタデータ） (2020-04-24T09:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。