論文の概要: Training with Explanations Alone: A New Paradigm to Prevent Shortcut Learning

• arxiv url: http://arxiv.org/abs/2407.09788v2
• Date: Wed, 27 Aug 2025 11:38:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.300673
• Title: Training with Explanations Alone: A New Paradigm to Prevent Shortcut Learning
• Title（参考訳）: 説明によるトレーニングを独りで行う - ショートカット学習を防ぐための新しいパラダイム
• Authors: Pedro R. A. S. Bassi, Haydr A. H. Ali, Andrea Cavalli, Sergio Decherchi,
• Abstract要約: ショートカット学習は、さまざまな病院や患者にAIの一般化を妨げる。 説明アローントレーニング(TEA)と呼ばれる新しいトレーニングパラダイムを導入する。 説明ヒートマップから学ぶことで、TAA学生は教師と同じイメージ特徴に注意を払う。
• 参考スコア（独自算出の注目度）: 0.26499228329055996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Application of Artificial Intelligence (AI) in critical domains, like the medical one, is often hampered by shortcut learning, which hinders AI generalization to diverse hospitals and patients. Shortcut learning can be caused, for example, by background biases -- features in image backgrounds that are spuriously correlated to classification labels (e.g., words in X-rays). To mitigate the influence of image background and foreground bias on AI, we introduce a new training paradigm, dubbed Training with Explanations Alone (TEA). TEA trains a classifier (TEA student) only by making its explanation heatmaps match target heatmaps from a larger teacher model. By learning from its explanation heatmaps, the TEA student pays attention to the same image features as the teacher. For example, a teacher uses a large segmenter to remove image backgrounds before classification, thus ignoring background bias. By learning from the teacher's explanation heatmaps, the TEA student learns to also ignore backgrounds -- but it does not need a segmenter. With different teachers, the TEA student can also resist bias in the image foreground. Surprisingly, by training with heatmaps alone the student output naturally matches the teacher output -- with no loss function applied to the student output. We compared the TEA student against 14 state-of-the-art methods in 5 datasets with strong background or foreground bias, including Waterbirds and an X-Ray dataset for COVID-19 and pneumonia classification. The TEA student had better resistance to bias, strongly surpassing state-of-the-art methods, and generalizing better to hospitals not seen in training.
• Abstract（参考訳）: 人工知能(AI)の医療分野への応用は、様々な病院や患者へのAIの一般化を妨げるショートカット学習によってしばしば妨げられる。 例えば、ショートカット学習は、背景バイアス -- 分類ラベル(例えば、X線中の単語)と急激な相関を持つ画像背景の特徴 -- によって引き起こされる可能性がある。 画像背景と前景バイアスがAIに与える影響を軽減するため,説明アロントレーニング(TEA)と呼ばれる新たなトレーニングパラダイムを導入する。 TEAは、その説明ヒートマップをより大きな教師モデルからターゲットヒートマップにマッチさせることで、分類器(TEA学生)を訓練する。 説明ヒートマップから学ぶことで、TAA学生は教師と同じイメージ特徴に注意を払う。 例えば、教師は大きなセグメンタを使用して、分類前に画像の背景を削除し、背景バイアスを無視します。 教師の説明ヒートマップから学ぶことで、TEA学生は背景も無視することを学ぶが、セグメンタは必要ない。異なる教師によって、TEA学生はイメージフォアグラウンドのバイアスにも抵抗できる。驚くべきことに、ヒートマップだけで訓練することで、学生の出力は教師の出力と自然に一致し、学生の出力に損失関数が適用されない。 水鳥やX線による新型コロナウイルスの分類, 肺炎の分類など, 背景や前景のバイアスが強い5つのデータセットにおいて, TEA学生を14の最先端の手法と比較した。 TEAの学生はバイアスに対する抵抗性が良く、最先端の手法を強く上回り、訓練中に見えない病院に一般化した。

関連論文リスト

• PLD: A Choice-Theoretic List-Wise Knowledge Distillation [14.801268227422517]
  我々は,教師のロジットを「価値」スコアと解釈することで,プラケット・ルーシモデルの下で知識蒸留をリキャストする。 そこで我々は,教師モデルがクラスの全ランキングに関する知識を伝達する,重み付きリストレベルのランキング損失であるPlockett-Luce Distillation (PLD)を紹介した。
  論文  参考訳（メタデータ） (2025-06-14T15:31:54Z)
• Fine-tuning is Not Fine: Mitigating Backdoor Attacks in GNNs with Limited Clean Data [51.745219224707384]
  グラフニューラルネットワーク(GNN)は,メッセージパッシング機構を通じて,優れたパフォーマンスを実現している。 最近の研究は、GNNのバックドア攻撃に対する脆弱性を強調している。 本稿では,実践的なバックドア緩和フレームワークである GraphNAD を提案する。
  論文  参考訳（メタデータ） (2025-01-10T10:16:35Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Knowledge Distillation with Refined Logits [31.205248790623703]
  本稿では,現在のロジット蒸留法の限界に対処するため,Refined Logit Distillation (RLD)を導入する。 我々のアプローチは、高性能な教師モデルでさえ誤った予測をすることができるという観察に動機づけられている。 本手法は,教師からの誤解を招く情報を,重要なクラス相関を保ちながら効果的に排除することができる。
  論文  参考訳（メタデータ） (2024-08-14T17:59:32Z)
• Mitigating Bias in Dataset Distillation [62.79454960378792]
  原データセット内のバイアスがデータセット蒸留の性能に及ぼす影響について検討した。 カーネル密度推定を用いたサンプル再重み付け方式に基づく,単純かつ高効率な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T18:52:28Z)
• Debiased Distillation by Transplanting the Last Layer [14.861216810146114]
  ディープモデルは、後処理のときでさえ、急激な相関を学習することに影響を受けやすい。 DeTT(Debiasing by Teacher Transplanting)という簡単な知識蒸留アルゴリズムを提案する。 DeTTは学生モデルを脱臭し、最悪のグループ精度で一貫してベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-22T07:41:09Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• Conditional Generative Data-Free Knowledge Distillation based on Attention Transfer [0.8594140167290099]
  実データを必要としない効率的な携帯ネットワークを訓練するための条件付き生成データフリー知識蒸留(CGDD)フレームワークを提案する。 本フレームワークでは,教師モデルから抽出した知識を除き,事前設定ラベルを付加的な補助情報として導入する。 CIFAR10, CIFAR100, Caltech101では, 99.63%, 99.07%, 99.84%の相対精度が得られた。
  論文  参考訳（メタデータ） (2021-12-31T09:23:40Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
  スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。 微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。 その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
  論文  参考訳（メタデータ） (2021-03-25T10:23:30Z)
• Enhancing Data-Free Adversarial Distillation with Activation Regularization and Virtual Interpolation [19.778192371420793]
  データフリーの逆蒸留フレームワークは生成ネットワークを展開し、教師モデルの知識を生徒モデルに転送する。 データ生成効率を向上させるために、アクティベーションレギュラライザと仮想敵対法を追加します。 CIFAR-100の最先端データフリー手法よりも精度が13.8%高い。
  論文  参考訳（メタデータ） (2021-02-23T11:37:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。