Fugu-MT 論文翻訳(概要): Towards Understanding Large-Scale Discourse Structures in Pre-Trained and Fine-Tuned Language Models

論文の概要: Towards Understanding Large-Scale Discourse Structures in Pre-Trained and Fine-Tuned Language Models

arxiv url: http://arxiv.org/abs/2204.04289v1
Date: Fri, 8 Apr 2022 20:42:08 GMT
ステータス: 処理完了
システム内更新日: 2022-04-15 11:12:27.322166
Title: Towards Understanding Large-Scale Discourse Structures in Pre-Trained and Fine-Tuned Language Models
Title（参考訳）: 事前学習と微調整言語モデルにおける大規模談話構造理解に向けて
Authors: Patrick Huber and Giuseppe Carenini
Abstract要約: 本稿では,任意の長さの文書から談話構造を推定する新しい手法について述べる。第2に,BERTモデルとBARTモデルにおいて,内在的談話がどの程度正確に捕捉されるかを明らかにするために,新しいタイプの分析手法を提案する。生成した構造が,モデル内およびモデル間の分布だけでなく,さまざまなベースラインにどの程度類似しているかを評価する。
参考スコア（独自算出の注目度）: 30.615883375573432
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With a growing number of BERTology work analyzing different components of pre-trained language models, we extend this line of research through an in-depth analysis of discourse information in pre-trained and fine-tuned language models. We move beyond prior work along three dimensions: First, we describe a novel approach to infer discourse structures from arbitrarily long documents. Second, we propose a new type of analysis to explore where and how accurately intrinsic discourse is captured in the BERT and BART models. Finally, we assess how similar the generated structures are to a variety of baselines as well as their distribution within and between models.
Abstract（参考訳）: 事前学習された言語モデルのさまざまな構成要素を分析したバートロジー研究が増えているので、事前学習と微調整された言語モデルにおける談話情報の詳細な分析を通じて、この研究範囲を拡張している。まず、任意の長さの文書から談話構造を推測する新しいアプローチについて述べる。第二に,bert モデルと bart モデルにおける内在的談話の捉え方と正確性を検討するための新しい分析手法を提案する。最後に、生成した構造が様々なベースラインと、モデル内とモデル間の分布にどの程度似ているかを評価する。

関連論文リスト

Large corpora and large language models: a replicable method for automating grammatical annotation [0.0]
英語評価動詞構築における形式的変化の事例研究に応用された方法論的パイプライン「consider X (as) (to be) Y」を紹介する。少数のトレーニングデータだけで、保留中のテストサンプルで90%以上の精度でモデルに到達します。本研究は, 文法的構成と文法的変化および変化に関する幅広いケーススタディに対して, 結果の一般化可能性について論じる。
論文参考訳（メタデータ） (2024-11-18T03:29:48Z)
Mixture-of-Linguistic-Experts Adapters for Improving and Interpreting Pre-trained Language Models [22.977852629450346]
本稿では,言語モデルに言語構造を注入することで,2つの人気のある研究領域を組み合わせる手法を提案する。本研究では,異なる言語構造をコードする並列アダプタモジュールを,Mixture-of-Linguistic-Expertsアーキテクチャを用いて組み合わせる。実験の結果,本手法はパラメータ数に比較して,最先端のPEFT法より優れていることがわかった。
論文参考訳（メタデータ） (2023-10-24T23:29:06Z)
Construction Grammar and Language Models [4.171555557592296]
近年のディープラーニングの進歩は、主にクローゼのようなタスクで訓練された強力なモデルを生み出している。この章は、自然言語処理と構築文法の分野における研究者間のコラボレーションを促進することを目的としている。
論文参考訳（メタデータ） (2023-08-25T11:37:56Z)
Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文参考訳（メタデータ） (2023-07-16T15:18:25Z)
DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。 10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
論文参考訳（メタデータ） (2022-05-21T00:58:22Z)
Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
論文参考訳（メタデータ） (2022-04-06T06:29:52Z)
Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
論文参考訳（メタデータ） (2021-11-16T15:18:01Z)
Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
論文参考訳（メタデータ） (2021-09-02T16:05:24Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。言語モデルのための完全合成出力埋め込み層を提案する。我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文参考訳（メタデータ） (2020-09-24T07:21:14Z)
Fine-Grained Analysis of Cross-Linguistic Syntactic Divergences [18.19093600136057]
並列コーパスから任意の言語対の発散パターンを抽出するフレームワークを提案する。我々のフレームワークは、言語間の相違の詳細な図を提供し、以前のアプローチを一般化し、完全に自動化することを示します。
論文参考訳（メタデータ） (2020-05-07T13:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。