論文の概要: Unified BERT for Few-shot Natural Language Understanding
- arxiv url: http://arxiv.org/abs/2206.12094v1
- Date: Fri, 24 Jun 2022 06:10:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 00:08:41.034316
- Title: Unified BERT for Few-shot Natural Language Understanding
- Title(参考訳): 自然言語理解のための統一BERT
- Authors: JunYu Lu, Ping Yang, JiaXing Zhang, RuYi Gan, Jing Yang
- Abstract要約: 本稿では,BERTフレームワークに基づく双方向言語理解モデルであるUBERTを提案する。
UBERTは、様々な側面から事前知識を符号化し、複数のNLUタスクにまたがる学習表現を均一に構築する。
実験によると、UBERTは7つのNLUタスク、14のデータセット、ほとんどショットやゼロショットの設定で最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 7.352338840651369
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Even as pre-trained language models share a semantic encoder, natural
language understanding suffers from a diversity of output schemas. In this
paper, we propose UBERT, a unified bidirectional language understanding model
based on BERT framework, which can universally model the training objects of
different NLU tasks through a biaffine network. Specifically, UBERT encodes
prior knowledge from various aspects, uniformly constructing learning
representations across multiple NLU tasks, which is conducive to enhancing the
ability to capture common semantic understanding. Using the biaffine to model
scores pair of the start and end position of the original text, various
classification and extraction structures can be converted into a universal,
span-decoding approach. Experiments show that UBERT achieves the
state-of-the-art performance on 7 NLU tasks, 14 datasets on few-shot and
zero-shot setting, and realizes the unification of extensive information
extraction and linguistic reasoning tasks.
- Abstract(参考訳): 事前訓練された言語モデルがセマンティックエンコーダを共有するとしても、自然言語理解は出力スキーマの多様性に悩まされる。
本稿では,多様なNLUタスクのトレーニング対象をバイファインネットワークを介して普遍的にモデル化可能な,BERTフレームワークに基づく統合双方向言語理解モデルであるUBERTを提案する。
具体的には、UBERTは様々な側面から事前知識を符号化し、複数のNLUタスクにまたがる学習表現を均一に構築する。
バイファインを用いて元のテキストの開始位置と終了位置のペアをモデル化し、様々な分類と抽出構造を普遍的でスパンデコードなアプローチに変換することができる。
実験の結果,UBERTは7つのNLUタスク,14のデータセット,少数ショットおよびゼロショット設定で最先端のパフォーマンスを実現し,広範な情報抽出と言語推論タスクの統合を実現している。
関連論文リスト
- Entity Aware Syntax Tree Based Data Augmentation for Natural Language
Understanding [5.02493891738617]
本研究では,木構造,エンティティ・アウェア・シンタクス・ツリー (EAST) を応用した新しいNLPデータ拡張手法を提案する。
我々のEADA技術は、少量の注釈付きデータからEASTを自動的に構築し、インテント検出とスロットフィリングのための多数のトレーニングインスタンスを生成する。
4つのデータセットに対する実験結果から,提案手法は,精度と一般化能力の両方の観点から,既存のデータ拡張手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2022-09-06T07:34:10Z) - XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems
to Improve Language Understanding [73.24847320536813]
本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。
我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
論文 参考訳(メタデータ) (2022-04-15T03:44:00Z) - Uni-EDEN: Universal Encoder-Decoder Network by Multi-Granular
Vision-Language Pre-training [120.91411454661741]
視覚言語認識と生成を容易にするための訓練済みユニバーサル・デコーダネットワーク(Uni-EDEN)を提案する。
Uni-EDENは2ストリームトランスフォーマーベースの構造で、オブジェクトと文エンコーダの3つのモジュールで構成され、各モダリティの表現を別々に学習する。
論文 参考訳(メタデータ) (2022-01-11T16:15:07Z) - TravelBERT: Pre-training Language Model Incorporating Domain-specific
Heterogeneous Knowledge into A Unified Representation [27.12551176570223]
本研究では,非構造化テキスト,半構造化テキスト,よく構造化されたテキストを含むあらゆる形式のテキストを対象としたヘテロジニアス知識言語モデル(HKLM)を提案する。
提案手法では,単語知識の学習にマスク付き言語モデルの対象を用い,3つの分類対象とタイトルマッチング対象を用いてエンティティ知識とトピック知識を学習する。
その結果,本手法はデータの1/4のみを用いて,プレーンテキストの事前学習よりも優れていた。
論文 参考訳(メタデータ) (2021-09-02T16:05:24Z) - On the Evolution of Syntactic Information Encoded by BERT's
Contextualized Representations [11.558645364193486]
本稿では,6つのタスクに対してBERTの微調整プロセスに沿って,組込み構文木の進化を解析する。
実験結果から, 符号化された情報は, タスクに応じて微調整プロセスに沿って, 忘れられ(PoSタグ付け), 強化された(依存度・隣接度解析) あるいは保存された(セマンティック関連タスク) 。
論文 参考訳(メタデータ) (2021-01-27T15:41:09Z) - Structured Prediction as Translation between Augmented Natural Languages [109.50236248762877]
本研究では,構造化予測言語の課題を解決するために,新しいフレームワークであるTANL(Translation between Augmented Natural Languages)を提案する。
タスク固有の差別を訓練することで問題に取り組む代わりに、拡張自然言語間の翻訳タスクとして位置づける。
提案手法は, タスク固有のモデルに適合するか, 性能に優れ, 特に, 共同エンティティと関係抽出に関する新たな最先端結果が得られる。
論文 参考訳(メタデータ) (2021-01-14T18:32:21Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳(メタデータ) (2020-12-30T03:35:22Z) - CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。
CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。
知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文 参考訳(メタデータ) (2020-10-01T11:39:32Z) - BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。
提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。
我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文 参考訳(メタデータ) (2020-04-29T04:01:52Z) - What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
本稿では,言語固有のBERTモデルにおける技術の現状について述べる。
本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
論文 参考訳(メタデータ) (2020-03-05T20:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。