論文の概要: Uniform Masking Prevails in Vision-Language Pretraining

• arxiv url: http://arxiv.org/abs/2212.05195v1
• Date: Sat, 10 Dec 2022 04:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 17:24:29.392482
• Title: Uniform Masking Prevails in Vision-Language Pretraining
• Title（参考訳）: 視覚言語前訓練における一様マスキング
• Authors: Siddharth Verma, Yuchen Lu, Rui Hou, Hanchao Yu, Nicolas Ballas, Madian Khabsa, Amjad Almahairi
• Abstract要約: Masked Language Modeling (MLM) は、Vision-Language (VL) プリトレーニングの重要なコンポーネントであることが証明されている。 本稿では,マスキング率の増加が画像テキストマッチング(ITM)タスクの増大につながることを示す。
• 参考スコア（独自算出の注目度）: 26.513450527203453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Language Modeling (MLM) has proven to be an essential component of Vision-Language (VL) pretraining. To implement MLM, the researcher must make two design choices: the masking strategy, which determines which tokens to mask, and the masking rate, which determines how many tokens to mask. Previous work has focused primarily on the masking strategy while setting the masking rate at a default of 15\%. In this paper, we show that increasing this masking rate improves downstream performance while simultaneously reducing performance gap among different masking strategies, rendering the uniform masking strategy competitive to other more complex ones. Surprisingly, we also discover that increasing the masking rate leads to gains in Image-Text Matching (ITM) tasks, suggesting that the role of MLM goes beyond language modeling in VL pretraining.
• Abstract（参考訳）: Masked Language Modeling (MLM) は、Vision-Language (VL) プリトレーニングの重要なコンポーネントであることが証明されている。 mlmを実装するには、研究者はマスクのトークンを決定するマスク戦略と、マスクのトークン数を決定するマスク率という2つの設計選択をしなければならない。 以前の研究は、主にマスキング戦略に重点を置いており、マスキングレートをデフォルトの15\%に設定している。 本稿では,このマスキング率の向上は,異なるマスキング戦略間の性能ギャップを同時に低減し,より複雑なマスキング戦略と競合する一様マスキング戦略を示す。 驚くべきことに、マスク率の増加は画像テキストマッチング(ITM)タスクの増加につながっており、MLMの役割はVL事前学習における言語モデリングを超えている。

関連論文リスト

• Semantic Refocused Tuning for Open-Vocabulary Panoptic Segmentation [42.020470627552136]
  Open-vocabulary Panoptic segmentationは、イメージを意味のあるマスクに正確に分割することを目的とした、新たなタスクである。 マスク分類は、オープンボキャブ・パノプティクスのセグメンテーションにおける主要なパフォーマンスボトルネックである。 オープンボキャブ・パノプティクスのセグメンテーションを大幅に強化する新しいフレームワークであるセマンティック・リフォーカス・タニングを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:50:28Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Difference-Masking: Choosing What to Mask in Continued Pretraining [56.76782116221438]
  本研究では,事前訓練中のマスクを自動的に選択するマスキング戦略である差分マスキングを導入する。 差分マスキングは、4つの言語のみ、マルチモーダルなビデオタスクにおいて、継続した事前学習設定のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-23T23:31:02Z)
• Learning Better Masking for Better Language Model Pre-training [80.31112722910787]
  Masked Language Modelingは、事前学習言語モデル(PrLM)の目的を認知するために広く使われている。 PrLMは、固定マスキング比を適用し、トレーニング全体を通して異なる内容が同じ確率でマスクされるランダム-トークンマスキング戦略を採用するのが一般的である。 本研究では,異なるトレーニング段階におけるマスキング率とマスキング内容の調整を適応的に行う2つのマスク手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T08:27:52Z)
• Should You Mask 15% in Masked Language Modeling? [86.91486000124156]
  マスク付き言語モデルは、従来は15%のマスキングレートを使用していた。 最大40%の入力トークンをマスクすることで、15%のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-02-16T11:42:34Z)
• Data Efficient Masked Language Modeling for Vision and Language [16.95631509102115]
  Masked Language Modeling (MLM) は視覚言語訓練における重要なサブタスクの1つである。 クロスモーダル設定では、文中のトークンはランダムにマスキングされ、モデルは画像とテキストが与えられたマスキングトークンを予測する。 これらの欠点に対処するクロスモーダル設定に特有な代替マスキング戦略について検討する。
  論文  参考訳（メタデータ） (2021-09-05T11:27:53Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)
• PMI-Masking: Principled masking of correlated spans [46.36098771676867]
  ランダムなマスキングトークンは、マスキング言語モデル(MLM)の事前訓練における共通の欠陥を構成する 我々はPMI(Pointwise Mutual Information)の概念に基づくマスク方式PMI-Maskingを提案する。 PMI-Maskingはトレーニング時間の半分の時間で従来のマスキング手法の性能に到達し、トレーニング終了時の性能を継続的に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-05T07:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。