論文の概要: Relevance-driven Input Dropout: an Explanation-guided Regularization Technique

• arxiv url: http://arxiv.org/abs/2505.21595v1
• Date: Tue, 27 May 2025 16:52:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.198535
• Title: Relevance-driven Input Dropout: an Explanation-guided Regularization Technique
• Title（参考訳）: Relevance-driven Input Dropout: 説明誘導正規化手法
• Authors: Shreyas Gururaj, Lars Grüne, Wojciech Samek, Sebastian Lapuschkin, Leander Weber,
• Abstract要約: オーバーフィッティング(Overfitting)は、最先端(SOTA)機械学習(ML)モデルにまで及ぶ、よく知られた問題である。 緩和対策には、ドロップアウト、データ強化、体重減少、その他の正規化技術の組み合わせが含まれる。 本稿では,RelDrop (Relevance-driven Input Dropout) を提案する。
• 参考スコア（独自算出の注目度）: 10.97680893924652
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Overfitting is a well-known issue extending even to state-of-the-art (SOTA) Machine Learning (ML) models, resulting in reduced generalization, and a significant train-test performance gap. Mitigation measures include a combination of dropout, data augmentation, weight decay, and other regularization techniques. Among the various data augmentation strategies, occlusion is a prominent technique that typically focuses on randomly masking regions of the input during training. Most of the existing literature emphasizes randomness in selecting and modifying the input features instead of regions that strongly influence model decisions. We propose Relevance-driven Input Dropout (RelDrop), a novel data augmentation method which selectively occludes the most relevant regions of the input, nudging the model to use other important features in the prediction process, thus improving model generalization through informed regularization. We further conduct qualitative and quantitative analyses to study how Relevance-driven Input Dropout (RelDrop) affects model decision-making. Through a series of experiments on benchmark datasets, we demonstrate that our approach improves robustness towards occlusion, results in models utilizing more features within the region of interest, and boosts inference time generalization performance. Our code is available at https://github.com/Shreyas-Gururaj/LRP_Relevance_Dropout.
• Abstract（参考訳）: オーバーフィッティング(Overfitting)は、最先端(SOTA)機械学習(ML)モデルにまで拡張されたよく知られた問題であり、結果として一般化が減少し、列車とテストのパフォーマンスのギャップが大きくなった。 緩和対策には、ドロップアウト、データ強化、体重減少、その他の正規化技術の組み合わせが含まれる。 様々なデータ強化戦略の中で、オクルージョンは訓練中の入力のランダムなマスキング領域に焦点を当てた顕著なテクニックである。 既存の文献の多くは、モデル決定に強く影響を及ぼす領域ではなく、入力特徴の選択と修正においてランダム性を強調している。 本稿では、入力の最も関連性の高い領域を選択的に排除し、予測過程において他の重要な特徴を使用するようにモデルをヌードすることで、情報正規化によるモデル一般化を改善する新しいデータ拡張手法であるRelevance-driven Input Dropout (RelDrop)を提案する。 さらに,RelDrop (Relevance-driven Input Dropout, RelDrop) がモデル決定にどう影響するかを質的,定量的に分析する。 ベンチマークデータセットの一連の実験を通じて,本手法がオクルージョンに対する堅牢性を向上し,関心領域内のより多くの特徴を利用したモデルが得られたことを実証し,推論時間一般化性能を向上する。 私たちのコードはhttps://github.com/Shreyas-Gururaj/LRP_Relevance_Dropout.comから入手可能です。

関連論文リスト

• PEER pressure: Model-to-Model Regularization for Single Source Domain Generalization [12.15086255236961]
  対象領域におけるこのような拡張に基づく手法の性能は、訓練中に普遍的に変動することを示す。 本稿では,新しい一般化法を提案する。 Space Ensemble with Entropy Regularization (PEER) – プロキシモデルを使用して、拡張データを学ぶ。
  論文  参考訳（メタデータ） (2025-05-19T06:01:11Z)
• Diffusing DeBias: Synthetic Bias Amplification for Model Debiasing [15.214861534330236]
  Diffusing DeBias (DDB) を、教師なしモデルデバイアスの一般的な方法のためのプラグインとして導入する。 具体的には、条件付き拡散モデルを用いて、合成バイアス整合画像を生成する。 補助モデル学習におけるバイアス分散トレーニングサンプルの根本的な問題に対処することにより、提案手法は複数のベンチマークデータセットで最先端のモデルに勝る。
  論文  参考訳（メタデータ） (2025-02-13T18:17:03Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。