論文の概要: $MaskTune$: Mitigating Spurious Correlations by Forcing to Explore

• arxiv url: http://arxiv.org/abs/2210.00055v1
• Date: Fri, 30 Sep 2022 19:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 14:04:49.263119
• Title: $MaskTune$: Mitigating Spurious Correlations by Forcing to Explore
• Title（参考訳）: MaskTune$: 探索を強制して偽りの相関を緩和
• Authors: Saeid Asgari Taghanaki, Aliasghar Khani, Fereshte Khani, Ali Gholami, Linh Tran, Ali Mahdavi-Amiri, Ghassan Hamarneh
• Abstract要約: MaskTuneは、急激な(あるいは限られた数の)機能への過度な依存を防ぐ戦略だ。 MaskTuneはトレーニングされたモデルに、以前に発見された特徴をマスキングすることで、単一のエポックな微調整の間、新しい機能を探索するよう強制する。 バイアス付きMNIST,CelebA,Waterbirds,ImagenNet-9Lデータセットに対する実験結果から,MaskTuneはスプリアス相関の存在に苦しむタスクに有効であることが示された。
• 参考スコア（独自算出の注目度）: 20.330842301512828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fundamental challenge of over-parameterized deep learning models is learning meaningful data representations that yield good performance on a downstream task without over-fitting spurious input features. This work proposes MaskTune, a masking strategy that prevents over-reliance on spurious (or a limited number of) features. MaskTune forces the trained model to explore new features during a single epoch finetuning by masking previously discovered features. MaskTune, unlike earlier approaches for mitigating shortcut learning, does not require any supervision, such as annotating spurious features or labels for subgroup samples in a dataset. Our empirical results on biased MNIST, CelebA, Waterbirds, and ImagenNet-9L datasets show that MaskTune is effective on tasks that often suffer from the existence of spurious correlations. Finally, we show that MaskTune outperforms or achieves similar performance to the competing methods when applied to the selective classification (classification with rejection option) task. Code for MaskTune is available at https://github.com/aliasgharkhani/Masktune.
• Abstract（参考訳）: 過剰パラメータのディープラーニングモデルの基本的な課題は、重要な入力機能をオーバーフィットすることなく、下流タスクで優れたパフォーマンスをもたらす有意義なデータ表現を学習することである。 この研究はマスキング戦略であるMaskTuneを提案し、刺激的な(あるいは限られた数の)特徴への過度な依存を防ぐ。 MaskTuneはトレーニングされたモデルに、以前に発見された特徴をマスキングすることで、単一のエポックな微調整の間、新しい機能を探索するよう強制する。 masktuneは、ショートカット学習を緩和する以前のアプローチとは異なり、データセット内のサブグループサンプルにスプリアス機能やラベルをアノテートするなど、いかなる監督も必要としない。 バイアス付きMNIST,CelebA,Waterbirds,ImagenNet-9Lデータセットに対する実験結果から,MaskTuneはスプリアス相関の存在に苦しむタスクに有効であることが示された。 最後に,選択分類(拒否オプションによる分類)タスクに適用される場合,マスクチューンが競合手法と同等の性能を発揮するか,達成することを示す。 masktuneのコードはhttps://github.com/aliasgharkhani/masktuneで入手できる。

関連論文リスト

• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• SMCL: Saliency Masked Contrastive Learning for Long-tailed Recognition [19.192861880360347]
  本稿では,偏見予測の問題を緩和するために,相反学習を隠蔽するサリエンシを提案する。 我々のキーとなる考え方は、画像の重要な部分を塩分濃度検出を用いてマスキングし、対照的な学習を用いて、マスクされた画像を特徴空間の小さなクラスへ移動させることである。 実験結果から,提案手法は,ベンチマーク長尾データセット上での最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-06-04T11:33:40Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [59.923672191632065]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Mask-free OVIS: Open-Vocabulary Instance Segmentation without Manual Mask Annotations [86.47908754383198]
  Open-Vocabulary (OV) 法は、大規模な画像キャプチャペアと視覚言語モデルを利用して、新しいカテゴリを学習する。 提案手法は,イメージキャプションペアに存在するオブジェクトに対して,事前学習された視覚言語モデルの局所化能力を活用することで,擬似マスクアノテーションを生成する。 擬似マスクを用いてトレーニングした手法は,MS-COCOデータセットとOpenImagesデータセットのmAPスコアを大幅に改善する。
  論文  参考訳（メタデータ） (2023-03-29T17:58:39Z)
• MaskDiff: Modeling Mask Distribution with Diffusion Probabilistic Model for Few-Shot Instance Segmentation [31.648523213206595]
  少数ショットのインスタンスセグメンテーションは、数ショットの学習パラダイムをインスタンスセグメンテーションタスクに拡張する。 従来のアプローチでは、ポイント推定と呼ばれるプロトタイプ学習を通じてその課題に対処しようと試みてきた。 本稿では,二項マスクの条件分布をモデル化したMaskDiffという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-09T08:24:02Z)
• Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
  層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。 本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。 また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2022-11-26T19:31:49Z)
• MaskMTL: Attribute prediction in masked facial images with deep multitask learning [9.91045425400833]
  本稿では,マスク付き顔画像から多種多様な特徴を共同で推定する深層マルチタスク学習(MTL)手法を提案する。 提案手法は、他の競合技術よりも性能が優れている。
  論文  参考訳（メタデータ） (2022-01-09T13:03:29Z)
• Ternary Feature Masks: zero-forgetting for task-incremental learning [68.34518408920661]
  本稿では,タスク認識体制の継続的な学習を忘れずにアプローチを提案する。 第三のマスクを使用することで、モデルを新しいタスクにアップグレードしたり、以前のタスクからの知識を再利用したりできます。 本手法は,重みに基づく手法と比較して,メモリオーバーヘッドを低減しつつ,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-01-23T18:08:37Z)
• BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation [103.74690082121079]
  本研究では,インスタンスレベルの情報とセマンティックな情報と,低レベルの微細な粒度を効果的に組み合わせることで,マスク予測の改善を実現する。 私たちの主な貢献は、トップダウンとボトムアップの両方のインスタンスセグメンテーションアプローチからインスピレーションを得たブレンダーモジュールです。 BlendMaskは、非常に少ないチャネルで、ピクセルあたりの高密度な位置感受性インスタンス機能を効果的に予測し、単一の畳み込み層で各インスタンスの注意マップを学習することができる。
  論文  参考訳（メタデータ） (2020-01-02T03:30:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。