論文の概要: Masked Images Are Counterfactual Samples for Robust Fine-tuning

• arxiv url: http://arxiv.org/abs/2303.03052v3
• Date: Sun, 2 Apr 2023 13:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 21:12:25.987610
• Title: Masked Images Are Counterfactual Samples for Robust Fine-tuning
• Title（参考訳）: マスク画像は、ロバストな微調整のための偽のサンプルである
• Authors: Yao Xiao, Ziyi Tang, Pengxu Wei, Cong Liu, Liang Lin
• Abstract要約: 微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
• 参考スコア（独自算出の注目度）: 77.82348472169335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models are challenged by the distribution shift between the training data and test data. Recently, the large models pre-trained on diverse data have demonstrated unprecedented robustness to various distribution shifts. However, fine-tuning these models can lead to a trade-off between in-distribution (ID) performance and out-of-distribution (OOD) robustness. Existing methods for tackling this trade-off do not explicitly address the OOD robustness problem. In this paper, based on causal analysis of the aforementioned problems, we propose a novel fine-tuning method, which uses masked images as counterfactual samples that help improve the robustness of the fine-tuning model. Specifically, we mask either the semantics-related or semantics-unrelated patches of the images based on class activation map to break the spurious correlation, and refill the masked patches with patches from other images. The resulting counterfactual samples are used in feature-based distillation with the pre-trained model. Extensive experiments verify that regularizing the fine-tuning with the proposed masked images can achieve a better trade-off between ID and OOD performance, surpassing previous methods on the OOD performance. Our code is available at https://github.com/Coxy7/robust-finetuning.
• Abstract（参考訳）: ディープラーニングモデルは、トレーニングデータとテストデータとの分散シフトによって挑戦される。 近年,多種多様なデータに基づいて事前学習した大規模モデルが,様々な分布シフトに対して前例のない堅牢性を示している。 しかし、これらのモデルの微調整は、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 このトレードオフに対処する既存の方法は、OOD堅牢性の問題に明示的に対処するものではない。 本稿では, 上記の問題の因果解析に基づいて, マスク画像を対物サンプルとして用い, 微調整モデルの堅牢性を向上させる新しい微調整法を提案する。 具体的には,クラスアクティベーションマップに基づくイメージのセマンティクス関連パッチあるいはセマンティクス関連パッチのどちらかをマスクして,スプリアス相関を破って,他のイメージからのパッチでマスクパッチを補充する。 得られた反事実サンプルは、事前訓練されたモデルで特徴ベースの蒸留に使用される。 広汎な実験により,提案したマスク画像による微調整が,OOD性能の従来の手法を上回り,IDとOOD性能のトレードオフを改善することが確認された。 私たちのコードはhttps://github.com/coxy7/robust-finetuningで利用可能です。

関連論文リスト

• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Can Your Generative Model Detect Out-of-Distribution Covariate Shift? [2.0144831048903566]
  条件付き正規化フロー(cNFs)を用いたOODセンサデータ検出のための新しい手法を提案する。 CIFAR10 対 CIFAR10-C と ImageNet200 対 ImageNet200-C では,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-09-04T19:27:56Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• DiffGuard: Semantic Mismatch-Guided Out-of-Distribution Detection using Pre-trained Diffusion Models [25.58447344260747]
  我々はDiffGuardという名前のセマンティックミスマッチ誘導OOD検出に事前学習拡散モデルを用いている。 実験により、DiffGuardはCifar-10と大規模ImageNetのハードケースの両方で有効であることが示された。 既存のOOD検出技術と簡単に組み合わせて、最先端のOOD検出結果が得られる。
  論文  参考訳（メタデータ） (2023-08-15T10:37:04Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [59.923672191632065]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
  効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。 異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-02-02T19:28:41Z)
• Deep Learning-Based Defect Classification and Detection in SEM Images [1.9206693386750882]
  特に、異なるResNet、VGGNetアーキテクチャをバックボーンとして使用するRetinaNetモデルをトレーニングする。 そこで本研究では,異なるモデルからの出力予測を組み合わせることで,欠陥の分類と検出に優れた性能を実現するための選好に基づくアンサンブル戦略を提案する。
  論文  参考訳（メタデータ） (2022-06-20T16:34:11Z)
• A Hierarchical Transformation-Discriminating Generative Model for Few Shot Anomaly Detection [93.38607559281601]
  各トレーニングイメージのマルチスケールパッチ分布をキャプチャする階層的生成モデルを開発した。 この異常スコアは、スケール及び画像領域にわたる正しい変換のパッチベースの投票を集約して得られる。
  論文  参考訳（メタデータ） (2021-04-29T17:49:48Z)
• Uncertainty-aware Generalized Adaptive CycleGAN [44.34422859532988]
  unpaired image-to-image translationは、教師なしの方法で画像ドメイン間のマッピングを学ぶことを指す。 既存の手法はしばしば、外れ値への堅牢性や予測不確実性を明示的にモデル化せずに決定論的マッピングを学習する。 Uncertainty-aware Generalized Adaptive Cycle Consistency (UGAC) という新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2021-02-23T15:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。