論文の概要: CMV-BERT: Contrastive multi-vocab pretraining of BERT

• arxiv url: http://arxiv.org/abs/2012.14763v1
• Date: Tue, 29 Dec 2020 14:23:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 01:48:30.843120
• Title: CMV-BERT: Contrastive multi-vocab pretraining of BERT
• Title（参考訳）: CMV-BERT:BERTのマルチボキャブ事前訓練
• Authors: Wei Zhu, Daniel Cheung
• Abstract要約: CMV-BERTは,2つの要素による言語モデルの事前学習を改善する。 2つの方法はどちらも原文の異なる見方を提供しており、どちらも有益であることを示している。 提案したCMV-BERTが事前学習言語モデルの改善に有効であることを示す。
• 参考スコア（独自算出の注目度）: 1.6884834576352221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we represent CMV-BERT, which improves the pretraining of a language model via two ingredients: (a) contrastive learning, which is well studied in the area of computer vision; (b) multiple vocabularies, one of which is fine-grained and the other is coarse-grained. The two methods both provide different views of an original sentence, and both are shown to be beneficial. Downstream tasks demonstrate our proposed CMV-BERT are effective in improving the pretrained language models.
• Abstract（参考訳）: 本研究では,コンピュータビジョンの分野でよく研究されているコントラスト学習(a)と,その一方が細粒度で,他方が粗粒度である複数語彙(b)という2つの要素を用いて,言語モデルの事前学習を改善するCMV-BERTを提案する。 2つの方法はどちらも原文の異なる見方を提供しており、どちらも有益であることを示している。 提案したCMV-BERTが事前学習言語モデルの改善に有効であることを示す。

関連論文リスト

• Leveraging Multi-lingual Positive Instances in Contrastive Learning to Improve Sentence Embedding [17.12010497289781]
  複数の正の活用は多言語文の埋め込みに考慮すべきである,と我々は主張する。 本稿では,多言語文埋め込みの学習を改善するために,MPCLという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T08:54:30Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• VL-BEiT: Generative Vision-Language Pretraining [107.25298505511184]
  生成前訓練により学習した双方向多モード変換器であるVL-BEiTを提案する。 具体的には、画像テキスト対におけるマスク付き視覚言語モデリング、テキスト上でのマスク付き言語モデリング、画像上でのマスク付き画像モデリングを行う。
  論文  参考訳（メタデータ） (2022-06-02T16:14:19Z)
• Multimodal Pretraining Unmasked: A Meta-Analysis and a Unified Framework of Vision-and-Language BERTs [57.74359320513427]
  ビジョンと言語BERTを事前訓練して、これらの2つの重要なAI領域の交差点での課題に取り組む方法が提案されている。 これら2つのカテゴリの違いについて検討し、単一の理論的枠組みの下でそれらをどのように統合できるかを示す。 5つのV&L BERT間の経験的差異を明らかにするための制御実験を行った。
  論文  参考訳（メタデータ） (2020-11-30T18:55:24Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• lamBERT: Language and Action Learning Using Multimodal BERT [0.1942428068361014]
  本研究では,マルチモーダルBERT(lamBERT)モデルを用いた言語と行動学習を提案する。 実験は、エージェントが適切に振る舞うために言語理解を必要とするグリッド環境で行われる。 lamBERTモデルは、他のモデルと比較してマルチタスク設定や転送設定において高い報酬を得た。
  論文  参考訳（メタデータ） (2020-04-15T13:54:55Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。