論文の概要: Chroma-VAE: Mitigating Shortcut Learning with Generative Classifiers

• arxiv url: http://arxiv.org/abs/2211.15231v1
• Date: Mon, 28 Nov 2022 11:27:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 19:42:06.048858
• Title: Chroma-VAE: Mitigating Shortcut Learning with Generative Classifiers
• Title（参考訳）: Chroma-VAE: 生成型分類器によるショートカット学習の軽減
• Authors: Wanqian Yang, Polina Kirichenko, Micah Goldblum, Andrew Gordon Wilson
• Abstract要約: 生成モデルだけではショートカット学習を防ぐには不十分であることを示す。 特にChroma-VAE(英語版)を提案する。これは、VAEが最初、小さな潜伏部分空間でショートカットを分離するために訓練される2段階のアプローチである。 ベンチマークや実世界のショートカット学習におけるクロマVAEの有効性の実証に加えて, 生成型分類器の潜時空間を操作して, 特定の相関関係を分離・解釈する可能性を強調した。
• 参考スコア（独自算出の注目度）: 44.97660597940641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are susceptible to shortcut learning, using simple features to achieve low training loss without discovering essential semantic structure. Contrary to prior belief, we show that generative models alone are not sufficient to prevent shortcut learning, despite an incentive to recover a more comprehensive representation of the data than discriminative approaches. However, we observe that shortcuts are preferentially encoded with minimal information, a fact that generative models can exploit to mitigate shortcut learning. In particular, we propose Chroma-VAE, a two-pronged approach where a VAE classifier is initially trained to isolate the shortcut in a small latent subspace, allowing a secondary classifier to be trained on the complementary, shortcut-free latent subspace. In addition to demonstrating the efficacy of Chroma-VAE on benchmark and real-world shortcut learning tasks, our work highlights the potential for manipulating the latent space of generative classifiers to isolate or interpret specific correlations.
• Abstract（参考訳）: 深層ニューラルネットワークは、学習をショートカットし、基本的な意味構造を発見することなく、トレーニング損失の少ないために単純な特徴を使用する。 先行する信念とは対照的に,生成モデルだけでは,識別的アプローチよりも総合的な表現を回復する動機があるにもかかわらず,近距離学習を防止するには不十分であることを示す。 しかし,ショートカットを最小限の情報で優先的に符号化することは,生成モデルがショートカット学習の軽減に有効であることを示す。 特にChroma-VAEは、VAE分類器を初期訓練して小さな潜在部分空間でショートカットを分離し、二次分類器を補完的、ショートカットのない潜在部分空間で訓練する2段階のアプローチを提案する。 ベンチマークや実世界のショートカット学習におけるクロマVAEの有効性の実証に加えて, 生成型分類器の潜時空間を操作して, 特定の相関関係を分離・解釈する可能性を強調した。

関連論文リスト

• Navigating the Shortcut Maze: A Comprehensive Analysis of Shortcut Learning in Text Classification by Language Models [20.70050968223901]
  この研究は、過度に単純化されたショートカットを超えてモデルの信頼性を損なう微妙で複雑なショートカットの影響を克服する。 ショートカットを発生、スタイル、概念に分類する包括的なベンチマークを導入する。 本研究は,洗練されたショートカットに対するモデルの弾力性と感受性を系統的に検討する。
  論文  参考訳（メタデータ） (2024-09-26T01:17:42Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Beyond Prototypes: Semantic Anchor Regularization for Better Representation Learning [82.29761875805369]
  表現学習の最終的な目標の1つは、クラス内のコンパクトさとクラス間の十分な分離性を達成することである。 本稿では,機能セントロイドとして機能する事前定義されたクラスアンカーを用いて,特徴学習を一方向ガイドする新しい視点を提案する。 提案したSemantic Anchor Regularization (SAR) は,既存モデルのプラグアンドプレイ方式で使用することができる。
  論文  参考訳（メタデータ） (2023-12-19T05:52:38Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
  本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。 具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
  論文  参考訳（メタデータ） (2023-05-30T01:38:54Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)
• Subspace Regularizers for Few-Shot Class Incremental Learning [26.372024890126408]
  既存のクラスの重みに代表される部分空間に近づき、新しいクラスに対する重みベクトルを奨励する、新しい部分空間正規化スキームの族を示す。 この結果から,クラス表現の幾何学的正則化は連続学習に有効なツールであることが示唆された。
  論文  参考訳（メタデータ） (2021-10-13T22:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。