論文の概要: ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders

• arxiv url: http://arxiv.org/abs/2407.13036v1
• Date: Wed, 17 Jul 2024 22:04:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 19:13:43.402924
• Title: ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders
• Title（参考訳）: ColorMAE: Masked AutoEncodersにおけるデータ非依存のマスキング戦略を探る
• Authors: Carlos Hinojosa, Shuming Liu, Bernard Ghanem,
• Abstract要約: Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
• 参考スコア（独自算出の注目度）: 53.3185750528969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked AutoEncoders (MAE) have emerged as a robust self-supervised framework, offering remarkable performance across a wide range of downstream tasks. To increase the difficulty of the pretext task and learn richer visual representations, existing works have focused on replacing standard random masking with more sophisticated strategies, such as adversarial-guided and teacher-guided masking. However, these strategies depend on the input data thus commonly increasing the model complexity and requiring additional calculations to generate the mask patterns. This raises the question: Can we enhance MAE performance beyond random masking without relying on input data or incurring additional computational costs? In this work, we introduce a simple yet effective data-independent method, termed ColorMAE, which generates different binary mask patterns by filtering random noise. Drawing inspiration from color noise in image processing, we explore four types of filters to yield mask patterns with different spatial and semantic priors. ColorMAE requires no additional learnable parameters or computational overhead in the network, yet it significantly enhances the learned representations. We provide a comprehensive empirical evaluation, demonstrating our strategy's superiority in downstream tasks compared to random masking. Notably, we report an improvement of 2.72 in mIoU in semantic segmentation tasks relative to baseline MAE implementations.
• Abstract（参考訳）: Masked AutoEncoders (MAE)は、幅広いダウンストリームタスクで優れたパフォーマンスを提供する、堅牢なセルフ教師付きフレームワークとして登場した。 プレテキストタスクの難易度を高め、よりリッチな視覚表現を学習するために、既存の研究は、標準的なランダムマスキングを、対人誘導や教師誘導マスキングのようなより洗練された戦略に置き換えることに重点を置いている。 しかし、これらの戦略は入力データに依存するため、一般的にモデルの複雑さを増大させ、マスクパターンを生成するために追加の計算を必要とする。 入力データや追加の計算コストに頼ることなく、ランダムマスキングを超えてMAE性能を向上できるか? そこで本研究では、ランダムノイズをフィルタすることで、異なる二元マスクパターンを生成する、ColorMAEと呼ばれる、シンプルで効果的なデータ非依存手法を提案する。 画像処理における色ノイズから着想を得た4種類のフィルタを探索し,空間や意味の異なるマスクパターンを生成する。 ColorMAEは、ネットワーク内で学習可能なパラメータや計算オーバーヘッドを必要としないが、学習した表現を大幅に強化する。 我々は、ランダムマスキングと比較して、下流タスクにおける戦略の優位性を示す総合的な経験的評価を提供する。 特に,mIoUにおけるmIoUの2.72の改善について報告する。

関連論文リスト

• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [42.82742477950748]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 プリトレーニング中に最適なマスキング戦略を学習する新しいフレームワークであるMulti-level Optimized Mask Autoencoder (MLO-MAE)を紹介する。 視覚表現学習におけるMLO-MAEの進歩について検討した。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• DynaMask: Dynamic Mask Selection for Instance Segmentation [21.50329070835023]
  我々は,各インスタンスに最適なマスク解像度を選択するために,計算コストを無視できるマスクスイッチモジュール(MSM)を開発した。 提案手法,すなわちDynaMaskは,高い計算オーバーヘッドで,他の最先端技術よりも一貫した,顕著なパフォーマンス向上を実現する。
  論文  参考訳（メタデータ） (2023-03-14T13:01:25Z)
• DPPMask: Masked Image Modeling with Determinantal Point Processes [49.65141962357528]
  Masked Image Modeling (MIM)は、ランダムにマスキングされた画像の再構成を目的として、印象的な代表的性能を達成した。 先行研究で広く使われている一様ランダムマスキングは、必然的にいくつかの重要なオブジェクトを失い、元のセマンティック情報を変更する。 この問題に対処するため、MIMを新しいマスキング戦略であるDPPMaskで強化する。 提案手法は単純だが有効であり,様々なフレームワークで実装される場合,余分に学習可能なパラメータは不要である。
  論文  参考訳（メタデータ） (2023-03-13T13:40:39Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Efficient Masked Autoencoders with Self-Consistency [34.7076436760695]
  マスク付き画像モデリング(MIM)はコンピュータビジョンにおける強力な自己教師付き事前学習手法として認識されている。 本研究では,自己整合性(EMAE)を有する効率的なマスク付きオートエンコーダを提案し,事前学習効率を向上させる。 EMAEは、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、さまざまな下流タスクにおける最先端の転送能力を一貫して取得する。
  論文  参考訳（メタデータ） (2023-02-28T09:21:12Z)
• MixMask: Revisiting Masking Strategy for Siamese ConvNets [23.946791390657875]
  この研究は、textbfMixMaskと呼ばれる新しいフィリングベースのマスキング手法を導入している。 提案手法は,消去された領域を別の画像からのコンテンツに置き換えることにより,従来のマスキング手法で見られる情報の枯渇を効果的に解消する。 我々は,線形探索,半教師付きおよび教師付きファインタニング,オブジェクト検出,セグメンテーションなどの領域におけるフレームワークの性能向上を実証的に検証した。
  論文  参考訳（メタデータ） (2022-10-20T17:54:03Z)
• What You See is What You Classify: Black Box Attributions [61.998683569022006]
  我々は、トレーニング済みのブラックボックス分類器であるExpplanandumの属性を予測するために、ディープネットワークであるExplainerを訓練する。 既存のほとんどのアプローチとは異なり、我々の手法はクラス固有のマスクを直接生成することができる。 我々の属性は、視覚的および定量的に確立された方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:30:04Z)
• SODAR: Segmenting Objects by DynamicallyAggregating Neighboring Mask Representations [90.8752454643737]
  最近の最先端のワンステージインスタンスセグメンテーションモデルSOLOは、入力画像をグリッドに分割し、完全な畳み込みネットワークを備えたグリッドセルオブジェクトマスクを直接予測する。 我々は,SOLOが近傍の格子セルの物体に対して類似したマスクを生成するのを観察する。 観測されたギャップによってモチベーションを得た学習ベースのアグリゲーション手法を開発し,そのリッチな隣り合う情報を活用してSOLOを改善する。
  論文  参考訳（メタデータ） (2022-02-15T13:53:03Z)
• Self-Supervised Visual Representations Learning by Contrastive Mask Prediction [129.25459808288025]
  視覚表現学習のための新しいコントラストマスク予測(CMP)タスクを提案する。 MaskCoは、ビューレベルの機能ではなく、リージョンレベルの機能と対比している。 我々は、ImageNet以外のデータセットのトレーニングでMaskCoを評価し、そのパフォーマンスをMoCo V2と比較した。
  論文  参考訳（メタデータ） (2021-08-18T02:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。