論文の概要: DPPMask: Masked Image Modeling with Determinantal Point Processes

• arxiv url: http://arxiv.org/abs/2303.12736v1
• Date: Mon, 13 Mar 2023 13:40:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-25 03:00:26.261114
• Title: DPPMask: Masked Image Modeling with Determinantal Point Processes
• Title（参考訳）: DPPMask:決定点プロセスを用いたマスク画像モデリング
• Authors: Junde Xu, Zikai Lin, Donghao Zhou, Yaodong Yang, Xiangyun Liao, Bian Wu, Guangyong Chen, Pheng-ann Heng
• Abstract要約: Masked Image Modeling (MIM)は、ランダムにマスキングされた画像の再構成を目的として、印象的な代表的性能を達成した。 先行研究で広く使われている一様ランダムマスキングは、必然的にいくつかの重要なオブジェクトを失い、元のセマンティック情報を変更する。 この問題に対処するため、MIMを新しいマスキング戦略であるDPPMaskで強化する。 提案手法は単純だが有効であり,様々なフレームワークで実装される場合,余分に学習可能なパラメータは不要である。
• 参考スコア（独自算出の注目度）: 49.65141962357528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Image Modeling (MIM) has achieved impressive representative performance with the aim of reconstructing randomly masked images. Despite the empirical success, most previous works have neglected the important fact that it is unreasonable to force the model to reconstruct something beyond recovery, such as those masked objects. In this work, we show that uniformly random masking widely used in previous works unavoidably loses some key objects and changes original semantic information, resulting in a misalignment problem and hurting the representative learning eventually. To address this issue, we augment MIM with a new masking strategy namely the DPPMask by substituting the random process with Determinantal Point Process (DPPs) to reduce the semantic change of the image after masking. Our method is simple yet effective and requires no extra learnable parameters when implemented within various frameworks. In particular, we evaluate our method on two representative MIM frameworks, MAE and iBOT. We show that DPPMask surpassed random sampling under both lower and higher masking ratios, indicating that DPPMask makes the reconstruction task more reasonable. We further test our method on the background challenge and multi-class classification tasks, showing that our method is more robust at various tasks.
• Abstract（参考訳）: Masked Image Modeling (MIM)は、ランダムにマスキングされた画像の再構成を目的として、印象的な代表的性能を達成した。 実証的な成功にもかかわらず、過去のほとんどの研究は、モデルにマスクされた物体のような回復以上のものを再構築させるのは理にかなわないという重要な事実を無視してきた。 本研究では,従来研究で広く用いられてきた一様ランダムマスキングが,必然的に重要な対象をなくし,本来の意味情報を変更し,不整合問題を引き起こし,最終的には代表的学習を損なうことを示す。 この問題に対処するために,ランダムプロセスを行列点過程(dpps)で置換することで,マスキング後の画像の意味変化を低減し,新たなマスキング戦略(dppmask)をmimに導入する。 本手法は単純かつ効果的であり,様々なフレームワークに実装した場合,追加の学習パラメータは必要としない。 特に,本手法をMAEとiBOTの2つの代表的なMIMフレームワーク上で評価した。 DPPMaskは, マスキング比の低値と高値の両方でランダムサンプリングを上回り, DPPMaskが再構成作業をより合理的に行うことを示す。 また,本手法は様々なタスクにおいてより堅牢であることを示すため,背景課題と多クラス分類タスクでさらにテストを行った。

関連論文リスト

• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Bootstrap Masked Visual Modeling via Hard Patches Mining [68.74750345823674]
  マスク付き視覚モデリングは、一般化可能な表現の学習において有望な可能性を秘めているため、多くの注目を集めている。 モデルが教師の靴の中に立つことは同様に重要であると我々は主張する。 教師としてのモデルを強化するため,我々はハードパッチマイニング(HPM, Hard Patches Mining)を提案し,パッチワイド損失を予測し,次にマスクの場所を決定する。
  論文  参考訳（メタデータ） (2023-12-21T10:27:52Z)
• Hard Patches Mining for Masked Image Modeling [52.46714618641274]
  マスク付き画像モデリング(MIM)は、スケーラブルな視覚表現を学習する有望な可能性から、多くの研究の注目を集めている。 我々はMIM事前学習のための新しいフレームワークであるHPM(Hard Patches Mining)を提案する。
  論文  参考訳（メタデータ） (2023-04-12T15:38:23Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling [83.67628239775878]
  Masked Image Modeling (MIM) は Masked Autoencoders (MAE) と BEiT の出現によって有望な進歩を遂げた。 本稿では,画素再構成の観点からMIMの基本解析を行う。 我々は,2つの戦略を包含する極めて単純で効果的な方法,weelmethodを提案する。
  論文  参考訳（メタデータ） (2023-03-04T13:38:51Z)
• Efficient Masked Autoencoders with Self-Consistency [34.7076436760695]
  マスク付き画像モデリング(MIM)はコンピュータビジョンにおける強力な自己教師付き事前学習手法として認識されている。 本研究では,自己整合性(EMAE)を有する効率的なマスク付きオートエンコーダを提案し,事前学習効率を向上させる。 EMAEは、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、さまざまな下流タスクにおける最先端の転送能力を一貫して取得する。
  論文  参考訳（メタデータ） (2023-02-28T09:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。