論文の概要: BURT: BERT-inspired Universal Representation from Twin Structure

• arxiv url: http://arxiv.org/abs/2004.13947v2
• Date: Mon, 3 Aug 2020 13:04:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-08 13:34:37.726197
• Title: BURT: BERT-inspired Universal Representation from Twin Structure
• Title（参考訳）: BURT:BERTにインスパイアされたツイン構造からのユニバーサル表現
• Authors: Yian Li and Hai Zhao
• Abstract要約: BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
• 参考スコア（独自算出の注目度）: 89.82415322763475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained contextualized language models such as BERT have shown great effectiveness in a wide range of downstream Natural Language Processing (NLP) tasks. However, the effective representations offered by the models target at each token inside a sequence rather than each sequence and the fine-tuning step involves the input of both sequences at one time, leading to unsatisfying representations of various sequences with different granularities. Especially, as sentence-level representations taken as the full training context in these models, there comes inferior performance on lower-level linguistic units (phrases and words). In this work, we present BURT (BERT inspired Universal Representation from Twin Structure) that is capable of generating universal, fixed-size representations for input sequences of any granularity, i.e., words, phrases, and sentences, using a large scale of natural language inference and paraphrase data with multiple training objectives. Our proposed BURT adopts the Siamese network, learning sentence-level representations from natural language inference dataset and word/phrase-level representations from paraphrasing dataset, respectively. We evaluate BURT across different granularities of text similarity tasks, including STS tasks, SemEval2013 Task 5(a) and some commonly used word similarity tasks, where BURT substantially outperforms other representation models on sentence-level datasets and achieves significant improvements in word/phrase-level representation.
• Abstract（参考訳）: BERTのような事前訓練された文脈言語モデルは、幅広い下流自然言語処理(NLP)タスクにおいて大きな効果を示している。 しかし、各シーケンスではなく、シーケンス内の各トークンでモデルによって提供される効果的な表現と微調整のステップは、一度に両方のシーケンスの入力を伴い、異なる粒度の様々なシーケンスを満足できない表現に繋がる。 特に、これらのモデルにおけるフルトレーニングの文脈として、文レベルの表現は低レベルの言語単位(フレーズと単語)に劣るパフォーマンスをもたらす。 本研究では,様々な粒度の入力シーケンス,すなわち単語,フレーズ,文に対して,複数の訓練目的を持つ大規模な自然言語推論とパラフレーズデータを用いて,普遍的かつ固定サイズの表現を生成することができるBURT(BERT inspired Universal Representation from Twin Structure)を提案する。 提案するburtは、自然言語推論データセットから文レベルの表現を学習し、パラフレージングデータセットから単語/フレーズレベルの表現をそれぞれ採用する。 我々は、STSタスク、SemEval2013 Task 5(a) など、テキスト類似性タスクの粒度にまたがるBURTの評価を行い、BURTは文レベルのデータセット上で他の表現モデルよりも大幅に優れており、単語/フレーズレベルの表現の大幅な改善を実現している。

関連論文リスト

• Unified BERT for Few-shot Natural Language Understanding [7.352338840651369]
  本稿では,BERTフレームワークに基づく双方向言語理解モデルであるUBERTを提案する。 UBERTは、様々な側面から事前知識を符号化し、複数のNLUタスクにまたがる学習表現を均一に構築する。 実験によると、UBERTは7つのNLUタスク、14のデータセット、ほとんどショットやゼロショットの設定で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-24T06:10:53Z)
• Pre-training Universal Language Representation [46.51685959045527]
  この研究は普遍言語表現学習、すなわち、一様ベクトル空間に非常に多様な長さを持つ言語単位やテキストの異なるレベルの埋め込みを導入している。 我々は、よく設計された事前学習スキームが、効果的に普遍的な言語表現をもたらすことを実証的に検証する。
  論文  参考訳（メタデータ） (2021-05-30T09:29:01Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• BURT: BERT-inspired Universal Representation from Learning Meaningful Segment [46.51685959045527]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 我々は、異なるレベルの言語単位を同じベクトル空間に符号化する普遍表現モデルburtを提案する。 具体的には,ポイントワイズ相互情報(pmi)に基づいて有意義なセグメントを抽出・マスキングし,異なる粒度目標を事前学習段階に組み込む。
  論文  参考訳（メタデータ） (2020-12-28T16:02:28Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。