論文の概要: Unified BERT for Few-shot Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2206.12094v1
• Date: Fri, 24 Jun 2022 06:10:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 00:08:41.034316
• Title: Unified BERT for Few-shot Natural Language Understanding
• Title（参考訳）: 自然言語理解のための統一BERT
• Authors: JunYu Lu, Ping Yang, JiaXing Zhang, RuYi Gan, Jing Yang
• Abstract要約: 本稿では,BERTフレームワークに基づく双方向言語理解モデルであるUBERTを提案する。 UBERTは、様々な側面から事前知識を符号化し、複数のNLUタスクにまたがる学習表現を均一に構築する。 実験によると、UBERTは7つのNLUタスク、14のデータセット、ほとんどショットやゼロショットの設定で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 7.352338840651369
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Even as pre-trained language models share a semantic encoder, natural language understanding suffers from a diversity of output schemas. In this paper, we propose UBERT, a unified bidirectional language understanding model based on BERT framework, which can universally model the training objects of different NLU tasks through a biaffine network. Specifically, UBERT encodes prior knowledge from various aspects, uniformly constructing learning representations across multiple NLU tasks, which is conducive to enhancing the ability to capture common semantic understanding. Using the biaffine to model scores pair of the start and end position of the original text, various classification and extraction structures can be converted into a universal, span-decoding approach. Experiments show that UBERT achieves the state-of-the-art performance on 7 NLU tasks, 14 datasets on few-shot and zero-shot setting, and realizes the unification of extensive information extraction and linguistic reasoning tasks.
• Abstract（参考訳）: 事前訓練された言語モデルがセマンティックエンコーダを共有するとしても、自然言語理解は出力スキーマの多様性に悩まされる。 本稿では,多様なNLUタスクのトレーニング対象をバイファインネットワークを介して普遍的にモデル化可能な,BERTフレームワークに基づく統合双方向言語理解モデルであるUBERTを提案する。 具体的には、UBERTは様々な側面から事前知識を符号化し、複数のNLUタスクにまたがる学習表現を均一に構築する。 バイファインを用いて元のテキストの開始位置と終了位置のペアをモデル化し、様々な分類と抽出構造を普遍的でスパンデコードなアプローチに変換することができる。 実験の結果,UBERTは7つのNLUタスク,14のデータセット,少数ショットおよびゼロショット設定で最先端のパフォーマンスを実現し,広範な情報抽出と言語推論タスクの統合を実現している。

関連論文リスト

• Incorporating Lexical and Syntactic Knowledge for Unsupervised Cross-Lingual Transfer [4.944761231728674]
  我々は"Lexicon-Syntax Enhanced Multilingual BERT"と呼ばれる新しいフレームワークを提案する。 我々は、ベースモデルとしてMultilingual BERTを使用し、学習能力を高めるために2つの手法を用いています。 実験の結果、このフレームワークはゼロショット・クロスランガル転送のすべてのベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-04-25T14:10:52Z)
• UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions [64.50935101415776]
  我々は,様々な音声言語理解(SLU)タスクを共同で行う単一モデルを構築した。 我々は17のデータセットと9の言語にまたがる12の音声分類とシーケンス生成タスクタイプに対して,1つのマルチタスク学習モデル"UniverSLU"の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-04T17:10:23Z)
• Entity Aware Syntax Tree Based Data Augmentation for Natural Language Understanding [5.02493891738617]
  本研究では,木構造,エンティティ・アウェア・シンタクス・ツリー (EAST) を応用した新しいNLPデータ拡張手法を提案する。 我々のEADA技術は、少量の注釈付きデータからEASTを自動的に構築し、インテント検出とスロットフィリングのための多数のトレーニングインスタンスを生成する。 4つのデータセットに対する実験結果から,提案手法は,精度と一般化能力の両方の観点から,既存のデータ拡張手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-09-06T07:34:10Z)
• Uni-EDEN: Universal Encoder-Decoder Network by Multi-Granular Vision-Language Pre-training [120.91411454661741]
  視覚言語認識と生成を容易にするための訓練済みユニバーサル・デコーダネットワーク(Uni-EDEN)を提案する。 Uni-EDENは2ストリームトランスフォーマーベースの構造で、オブジェクトと文エンコーダの3つのモジュールで構成され、各モダリティの表現を別々に学習する。
  論文  参考訳（メタデータ） (2022-01-11T16:15:07Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• On the Evolution of Syntactic Information Encoded by BERT's Contextualized Representations [11.558645364193486]
  本稿では,6つのタスクに対してBERTの微調整プロセスに沿って,組込み構文木の進化を解析する。 実験結果から, 符号化された情報は, タスクに応じて微調整プロセスに沿って, 忘れられ(PoSタグ付け), 強化された(依存度・隣接度解析) あるいは保存された(セマンティック関連タスク) 。
  論文  参考訳（メタデータ） (2021-01-27T15:41:09Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
  本稿では,言語固有のBERTモデルにおける技術の現状について述べる。 本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
  論文  参考訳（メタデータ） (2020-03-05T20:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。