Fugu-MT 論文翻訳(概要): CLOWER: A Pre-trained Language Model with Contrastive Learning over Word and Character Representations

論文の概要: CLOWER: A Pre-trained Language Model with Contrastive Learning over Word and Character Representations

arxiv url: http://arxiv.org/abs/2208.10844v1
Date: Tue, 23 Aug 2022 09:52:34 GMT
ステータス: 処理完了
システム内更新日: 2022-08-24 12:26:46.339465
Title: CLOWER: A Pre-trained Language Model with Contrastive Learning over Word and Character Representations
Title（参考訳）: CLOWER: 単語と文字表現の対比学習による事前学習型言語モデル
Authors: Borun Chen, Hongyin Tang, Jingang Wang, Qifan Wang, Hai-Tao Zheng, Wei Wu and Liqian Yu
Abstract要約: 事前学習型言語モデル(PLM)は、自然言語理解における多くの下流タスクにおいて、顕著なパフォーマンス向上を実現している。現在のほとんどのモデルは漢字を入力として使用しており、中国語の単語に含まれる意味情報をエンコードすることができない。本稿では,コントラッシブ・ラーニング・オーバーワード(Contrastive Learning Over Word)とチャラクタ表現(character representations)を採用した,シンプルで効果的なPLM CLOWERを提案する。
参考スコア（独自算出の注目度）: 18.780841483220986
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pre-trained Language Models (PLMs) have achieved remarkable performance gains across numerous downstream tasks in natural language understanding. Various Chinese PLMs have been successively proposed for learning better Chinese language representation. However, most current models use Chinese characters as inputs and are not able to encode semantic information contained in Chinese words. While recent pre-trained models incorporate both words and characters simultaneously, they usually suffer from deficient semantic interactions and fail to capture the semantic relation between words and characters. To address the above issues, we propose a simple yet effective PLM CLOWER, which adopts the Contrastive Learning Over Word and charactER representations. In particular, CLOWER implicitly encodes the coarse-grained information (i.e., words) into the fine-grained representations (i.e., characters) through contrastive learning on multi-grained information. CLOWER is of great value in realistic scenarios since it can be easily incorporated into any existing fine-grained based PLMs without modifying the production pipelines.Extensive experiments conducted on a range of downstream tasks demonstrate the superior performance of CLOWER over several state-of-the-art baselines.
Abstract（参考訳）: 事前学習された言語モデル(plm)は、自然言語理解において多くの下流タスクで顕著なパフォーマンス向上を達成している。より優れた中国語表現を学習するために、様々な中国語 PLM が提案されている。しかし、現在のモデルのほとんどは、漢字を入力として使用しており、中国語に含まれる意味情報をエンコードできない。最近の事前訓練されたモデルは、単語と文字を同時に組み込むが、通常は意味的相互作用が不足し、単語と文字間の意味的関係を捉えない。そこで本研究では,単語表現と文字表現の対比学習を応用した,単純かつ効果的なplmクローバを提案する。特に、CLOWERは、多粒度情報に対する対照的な学習を通じて、粗粒度情報(単語)を細粒度表現(文字)に暗黙的に符号化する。 CLOWERは、生産パイプラインを変更することなく既存の細粒度PLMに容易に組み込むことができるため、現実的なシナリオにおいて非常に価値が高い。

関連論文リスト

Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
Character, Word, or Both? Revisiting the Segmentation Granularity for Chinese Pre-trained Language Models [42.75756994523378]
文字と単語の両方を考慮した混合粒度中国語 BERT (MigBERT) を提案する。提案するMigBERTだけでなく,既存のPLMを評価するために,中国における様々なNLPタスクについて広範な実験を行った。 MigBERTは、これらすべてのタスクで新しいSOTAパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-03-20T06:20:03Z)
Exploiting Word Semantics to Enrich Character Representations of Chinese Pre-trained Models [12.0190584907439]
本稿では,単語構造を利用して語彙意味を事前学習したモデルの文字表現に統合する手法を提案する。提案手法は,中国の異なるNLPタスクにおけるBERT,BERT-wwm,ERNIEよりも優れた性能を示すことを示す。
論文参考訳（メタデータ） (2022-07-13T02:28:08Z)
LICHEE: Improving Language Model Pre-training with Multi-grained Tokenization [19.89228774074371]
本稿では,入力テキストの多粒度情報を効率的に組み込むための,シンプルで効果的な事前学習手法であるlicHEEを提案する。本手法は,様々な事前学習言語モデルに適用でき,その表現能力を向上させることができる。
論文参考訳（メタデータ） (2021-08-02T12:08:19Z)
Understanding Chinese Video and Language via Contrastive Multimodal Pre-Training [79.88705563918413]
VICTORという新しいビデオ言語理解フレームワークを提案します。VICTORは対比mulTimOdal pRe-trainingによる視覚言語理解の略です。 VICTORは、対応する高品質のテキスト記述を備えた1000万以上の完全なビデオを含む大規模な中国のビデオ言語データセットで訓練されています。
論文参考訳（メタデータ） (2021-04-19T15:58:45Z)
Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
論文参考訳（メタデータ） (2021-04-18T08:13:06Z)
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文参考訳（メタデータ） (2020-12-31T11:37:28Z)
MVP-BERT: Redesigning Vocabularies for Chinese BERT and Multi-Vocab Pretraining [5.503321733964237]
まず,中国語単語セグメンテーション(CWS)とサブワードトークン化の助けを借りて,中国語BERTの語彙を形成する新しい手法であるemphseg_tokを提案する。実験の結果,emphseg_tok は中国語 PLM の文レベルタスクの性能を向上するだけでなく,効率も向上することが示された。
論文参考訳（メタデータ） (2020-11-17T10:15:36Z)
FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文参考訳（メタデータ） (2020-09-10T22:42:15Z)
AMBERT: A Pre-trained Language Model with Multi-Grained Tokenization [13.082435183692393]
AMBERT(A Multi-fine BERT)と呼ばれる新しい事前学習型言語モデルを提案する。英語では、AMBERTは単語の列(きめ細かいトークン)とフレーズの列(粗いトークン)をトークン化後の入力として扱う。 CLUE(英語版)、GLUE(英語版)、SQuAD(英語版)、RACE(英語版)など、中国語と英語のベンチマークデータセットで実験が行われた。
論文参考訳（メタデータ） (2020-08-27T00:23:48Z)
Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
論文参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。