論文の概要: DeepStruct: Pretraining of Language Models for Structure Prediction
- arxiv url: http://arxiv.org/abs/2205.10475v1
- Date: Sat, 21 May 2022 00:58:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-05 19:44:10.969649
- Title: DeepStruct: Pretraining of Language Models for Structure Prediction
- Title（参考訳）: DeepStruct: 構造予測のための言語モデルの事前学習
- Authors: Chenguang Wang, Xiao Liu, Zui Chen, Haoyun Hong, Jie Tang, Dawn Song
- Abstract要約: テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。
我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。
10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
- 参考スコア（独自算出の注目度）: 64.84144849119554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a method for improving the structural understanding abilities of
language models. Unlike previous approaches that finetune the models with
task-specific augmentation, we pretrain language models on a collection of
task-agnostic corpora to generate structures from text. Our structure
pretraining enables zero-shot transfer of the learned knowledge that models
have about the structure tasks. We study the performance of this approach on 28
datasets, spanning 10 structure prediction tasks including open information
extraction, joint entity and relation extraction, named entity recognition,
relation classification, semantic role labeling, event extraction, coreference
resolution, factual probe, intent detection, and dialogue state tracking. We
further enhance the pretraining with the task-specific training sets. We show
that a 10B parameter language model transfers non-trivially to most tasks and
obtains state-of-the-art performance on 21 of 28 datasets that we evaluate.
- Abstract（参考訳）: 本稿では,言語モデルの構造理解能力を向上させる手法を提案する。
タスク固有の拡張でモデルを微調整する従来のアプローチとは異なり、私たちはテキストから構造を生成するタスクに依存しないコーパスの集合に言語モデルを事前トレーニングします。
我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。
オープン情報抽出,共同エンティティと関係抽出,名前付きエンティティ認識,関係分類,意味的役割ラベリング,イベント抽出,コリファレンス解決,事実探索,意図検出,対話状態追跡など10つの構造予測タスクにまたがる28のデータセットにおけるこのアプローチの性能について検討した。
タスク固有のトレーニングセットによる事前トレーニングをさらに強化する。
10Bパラメータ言語モデルは、ほとんどのタスクに非自明に転送し、評価した28のデータセットのうち21の最先端のパフォーマンスを得る。
関連論文リスト
- Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。
実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-06-06T15:17:51Z) - Punctuation Restoration Improves Structure Understanding without
Supervision [6.4736137270915215]
学習目的としての句読点復元は,構造関連タスクにおける内外分布性能を向上させることを示す。
句読解は、構造理解を改善し、自然言語のより堅牢な構造認識表現を得ることができる効果的な学習目的である。
論文 参考訳（メタデータ） (2024-02-13T11:22:52Z) - Learning to Extract Structured Entities Using Language Models [52.281701191329]
機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。
タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。
我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
論文 参考訳（メタデータ） (2024-02-06T22:15:09Z) - Expanding the Vocabulary of BERT for Knowledge Base Construction [6.412048788884728]
国際セマンティックウェブ会議2023で「事前学習言語モデルによる知識ベース構築」の課題が開催された。
私たちの焦点は、パラメータを最大10億に制限する課題のトラック1にありました。
本稿では,知識ベース構築のための語彙拡張BERTを提案する。
論文 参考訳（メタデータ） (2023-10-12T12:52:46Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-05-16T03:38:06Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z) - Learning Better Sentence Representation with Syntax Information [0.0]
構文情報と予め訓練された言語モデルを組み合わせるための新しいアプローチを提案する。
本モデルは91.2%の精度を達成し, 文完成作業では37.8%の精度でベースラインモデルを上回った。
論文 参考訳（メタデータ） (2021-01-09T12:15:08Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳（メタデータ） (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。