論文の概要: Salience-Based Adaptive Masking: Revisiting Token Dynamics for Enhanced Pre-training

• arxiv url: http://arxiv.org/abs/2404.08327v1
• Date: Fri, 12 Apr 2024 08:38:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 15:35:59.531293
• Title: Salience-Based Adaptive Masking: Revisiting Token Dynamics for Enhanced Pre-training
• Title（参考訳）: サリエンスに基づく適応型マスキング:事前訓練強化のためのトークンダイナミクスの再検討
• Authors: Hyesong Choi, Hyejin Park, Kwang Moo Yi, Sungmin Cha, Dongbo Min,
• Abstract要約: 適応型マスキングはトークンサリエンスを優先することでMIMアプローチの事前学習性能を向上させる。 本研究では,ImageNet-1Kデータセット上でのマスクによる事前学習において,最先端の手法よりも大幅に改善されていることを示す。
• 参考スコア（独自算出の注目度）: 33.39585710223628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce Saliency-Based Adaptive Masking (SBAM), a novel and cost-effective approach that significantly enhances the pre-training performance of Masked Image Modeling (MIM) approaches by prioritizing token salience. Our method provides robustness against variations in masking ratios, effectively mitigating the performance instability issues common in existing methods. This relaxes the sensitivity of MIM-based pre-training to masking ratios, which in turn allows us to propose an adaptive strategy for `tailored' masking ratios for each data sample, which no existing method can provide. Toward this goal, we propose an Adaptive Masking Ratio (AMR) strategy that dynamically adjusts the proportion of masking for the unique content of each image based on token salience. We show that our method significantly improves over the state-of-the-art in mask-based pre-training on the ImageNet-1K dataset.
• Abstract（参考訳）: 本稿では,SBAM(Salliency-Based Adaptive Masking)を導入し,トークン・サリエンスを優先することで,MIM(Masked Image Modeling)アプローチの事前学習性能を大幅に向上させる手法を提案する。 本手法はマスキング比の変動に対するロバスト性を提供し,既存の手法に共通する性能不安定性問題を効果的に軽減する。 これにより、MIMベースの事前学習からマスキング比への感度を緩和し、既存の方法では提供できないデータサンプルごとに「調整済み」マスキング比の適応戦略を提案できる。 そこで本研究では,トークンサリエンスに基づく各画像のユニークな内容に対するマスキングの割合を動的に調整する適応型マスキング比(AMR)戦略を提案する。 本研究では,ImageNet-1Kデータセット上でのマスクによる事前学習において,最先端の手法よりも大幅に改善されていることを示す。

関連論文リスト

• Symmetric masking strategy enhances the performance of Masked Image Modeling [0.0]
  Masked Image Modeling (MIM) は、ラベルのない画像から詳細な視覚表現を取得することに焦点を当てた自己教師付き学習の技法である。 モデルがグローバルな特徴とローカルな特徴を効果的に捉えるのに役立つ新しいマスキング戦略を提案する。 このマスキング戦略であるSymMIMに基づいて,MIMのためのトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-23T00:15:43Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Emerging Property of Masked Token for Effective Pre-training [15.846621577804791]
  Masked Image Modeling (MIM)はコンピュータビジョンにおける最近のブレークスルーの推進に役立っている。 MIMの全体的な効率は、トレーニング前のフェーズの長い持続時間によって妨げられることがある。 本稿では,マスクトークンの重み付けとキー特性の強化によるモデル効率の向上を目的として,マスクトークン最適化(MTO)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-12T08:46:53Z)
• Variance-insensitive and Target-preserving Mask Refinement for Interactive Image Segmentation [68.16510297109872]
  ポイントベースのインタラクティブなイメージセグメンテーションは、セマンティックセグメンテーションや画像編集といったアプリケーションにおけるマスクアノテーションの負担を軽減することができる。 本稿では,ユーザ入力の少ないセグメンテーション品質を向上する新しい手法である可変無感・ターゲット保存マスクリファインメントを提案する。 GrabCut、バークレー、SBD、DAVISデータセットの実験は、インタラクティブな画像セグメンテーションにおける我々の手法の最先端性能を実証している。
  論文  参考訳（メタデータ） (2023-12-22T02:31:31Z)
• Boosting Adversarial Transferability with Learnable Patch-wise Masks [16.46210182214551]
  敵の例は、異なるモデル間での転送可能性のため、セキュリティクリティカルなアプリケーションで広く注目を集めている。 本稿では、モデル固有の識別領域が、ソースモデルに過度に適合し、ターゲットモデルへの転送可能性を低減する重要な要因であると論じる。 これらの領域を正確にローカライズするために,マスクの自動最適化のための学習可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-28T05:32:22Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [59.923672191632065]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Learning Better Masking for Better Language Model Pre-training [80.31112722910787]
  Masked Language Modelingは、事前学習言語モデル(PrLM)の目的を認知するために広く使われている。 PrLMは、固定マスキング比を適用し、トレーニング全体を通して異なる内容が同じ確率でマスクされるランダム-トークンマスキング戦略を採用するのが一般的である。 本研究では,異なるトレーニング段階におけるマスキング率とマスキング内容の調整を適応的に行う2つのマスク手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T08:27:52Z)
• PMI-Masking: Principled masking of correlated spans [46.36098771676867]
  ランダムなマスキングトークンは、マスキング言語モデル(MLM)の事前訓練における共通の欠陥を構成する 我々はPMI(Pointwise Mutual Information)の概念に基づくマスク方式PMI-Maskingを提案する。 PMI-Maskingはトレーニング時間の半分の時間で従来のマスキング手法の性能に到達し、トレーニング終了時の性能を継続的に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-05T07:19:52Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。