論文の概要: How does the task complexity of masked pretraining objectives affect downstream performance?

• arxiv url: http://arxiv.org/abs/2305.10992v1
• Date: Thu, 18 May 2023 14:11:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 14:59:32.958605
• Title: How does the task complexity of masked pretraining objectives affect downstream performance?
• Title（参考訳）: masked pretraining objectiveのタスク複雑性は下流のパフォーマンスにどのように影響するのか?
• Authors: Atsuki Yamaguchi, Hiroaki Ozaki, Terufumi Morishita, Gaku Morio, Yasuhiro Sogawa
• Abstract要約: Masked Language Modeling (MLM) は、広く使われている自己学習の目的である。 マスキングスキームの目的は、下流のタスクよりも優れています。 複雑性の欠如が劣化に不可欠な役割を担っていると仮定して、我々はどれだけの複雑さを実行する必要があるかを調査する。
• 参考スコア（独自算出の注目度）: 10.958094201870871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked language modeling (MLM) is a widely used self-supervised pretraining objective, where a model needs to predict an original token that is replaced with a mask given contexts. Although simpler and computationally efficient pretraining objectives, e.g., predicting the first character of a masked token, have recently shown comparable results to MLM, no objectives with a masking scheme actually outperform it in downstream tasks. Motivated by the assumption that their lack of complexity plays a vital role in the degradation, we validate whether more complex masked objectives can achieve better results and investigate how much complexity they should have to perform comparably to MLM. Our results using GLUE, SQuAD, and Universal Dependencies benchmarks demonstrate that more complicated objectives tend to show better downstream results with at least half of the MLM complexity needed to perform comparably to MLM. Finally, we discuss how we should pretrain a model using a masked objective from the task complexity perspective.
• Abstract（参考訳）: masked language modeling (mlm) は広く使用されている自己教師付き事前学習目的であり、モデルが与えられたコンテキストでマスクに置き換えられたオリジナルのトークンを予測する必要がある。 単純で計算効率の良い事前学習目標(例えば、マスクトークンの最初の文字を予測する)は、最近mlmに匹敵する結果を示しているが、マスキングスキームを持つ目的が下流タスクで実際にそれを上回ることはない。 複雑性の欠如が劣化に重要な役割を担っているという仮定により、より複雑なマスクされた目的がより良い結果が得られるかどうかを検証し、MLMと相容れないほどに複雑な処理を行う必要があるかを検討する。 GLUE,SQuAD,Universal Dependenciesのベンチマークによる結果から,より複雑な目的は,MLMと互換性のある処理を行うために必要なMLMの少なくとも半分で,より複雑な結果を示す傾向があることが示された。 最後に、タスク複雑性の観点からマスクされた目的を用いてモデルを事前トレーニングする方法について論じる。

関連論文リスト

• AM-SAM: Automated Prompting and Mask Calibration for Segment Anything Model [28.343378406337077]
  AM-SAMと呼ばれる自動プロンプトとマスクの校正手法を提案する。 提案手法は入力画像のプロンプトを自動生成し,早期訓練における人的関与の必要性を解消する。 実験の結果,AM-SAMは,人為的および既定のプロンプトの有効性,マッチング,あるいは超越した精度のセグメンテーションを達成できた。
  論文  参考訳（メタデータ） (2024-10-13T03:47:20Z)
• Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
  プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。 最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。 本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:28Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Emerging Property of Masked Token for Effective Pre-training [15.846621577804791]
  Masked Image Modeling (MIM)はコンピュータビジョンにおける最近のブレークスルーの推進に役立っている。 MIMの全体的な効率は、トレーニング前のフェーズの長い持続時間によって妨げられることがある。 本稿では,マスクトークンの重み付けとキー特性の強化によるモデル効率の向上を目的として,マスクトークン最適化(MTO)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-12T08:46:53Z)
• PSALM: Pixelwise SegmentAtion with Large Multi-Modal Model [49.80313655590392]
  PSALMは、セグメント化タスクの課題に対処するため、LMM(Large Multi-modal Model)の強力な拡張である。 マスクデコーダとよく設計された入力スキーマを組み込んで,さまざまなセグメンテーションタスクを処理する。 PSALMの柔軟な設計は、複数のデータセットとタスクのジョイントトレーニングをサポートし、パフォーマンスとタスクの一般化を改善している。
  論文  参考訳（メタデータ） (2024-03-21T17:50:47Z)
• Efficient Masked Autoencoders with Self-Consistency [34.7076436760695]
  マスク付き画像モデリング(MIM)はコンピュータビジョンにおける強力な自己教師付き事前学習手法として認識されている。 本研究では,自己整合性(EMAE)を有する効率的なマスク付きオートエンコーダを提案し,事前学習効率を向上させる。 EMAEは、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、さまざまな下流タスクにおける最先端の転送能力を一貫して取得する。
  論文  参考訳（メタデータ） (2023-02-28T09:21:12Z)
• Learning Better Masking for Better Language Model Pre-training [80.31112722910787]
  Masked Language Modelingは、事前学習言語モデル(PrLM)の目的を認知するために広く使われている。 PrLMは、固定マスキング比を適用し、トレーニング全体を通して異なる内容が同じ確率でマスクされるランダム-トークンマスキング戦略を採用するのが一般的である。 本研究では,異なるトレーニング段階におけるマスキング率とマスキング内容の調整を適応的に行う2つのマスク手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T08:27:52Z)
• On the Influence of Masking Policies in Intermediate Pre-training [46.75012465848036]
  以前の研究によると、中間の事前トレーニングフェーズを挿入することで、下流タスクに似た目的が最終的なパフォーマンスを大幅に向上させることができる。 1) 中間的事前学習がどのような場合に有用か,(2)手作りの目的が与えられたタスクに最適か,(3) あるタスクのために設計された方針がそのタスクを超えて一般化可能であるか,などについては,いまだ不明である。 下流タスクの直接監督またはメタラーニングを通じてマスキングモデルを学ぶことにより、最適なポリシーの発見を自動化する方法を紹介します。
  論文  参考訳（メタデータ） (2021-04-18T12:32:23Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。