論文の概要: Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse

• arxiv url: http://arxiv.org/abs/2405.05587v1
• Date: Thu, 9 May 2024 07:23:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 14:02:33.630951
• Title: Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse
• Title（参考訳）: ショートカットを超えてナビゲートする - 神経崩壊のレンズを通した脱バイアス学習
• Authors: Yining Wang, Junjie Sun, Chenyue Wang, Mi Zhang, Min Yang,
• Abstract要約: 我々はニューラル・コラプスの調査を、不均衡な属性を持つバイアス付きデータセットに拡張する。 追加の訓練複雑性を伴わない回避ショートカット学習フレームワークを提案する。 ニューラル・コラプス構造に基づくよく設計されたショートカット素数では、モデルは単純なショートカットの追求を省略することが推奨される。
• 参考スコア（独自算出の注目度）: 19.279084204631204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have noted an intriguing phenomenon termed Neural Collapse, that is, when the neural networks establish the right correlation between feature spaces and the training targets, their last-layer features, together with the classifier weights, will collapse into a stable and symmetric structure. In this paper, we extend the investigation of Neural Collapse to the biased datasets with imbalanced attributes. We observe that models will easily fall into the pitfall of shortcut learning and form a biased, non-collapsed feature space at the early period of training, which is hard to reverse and limits the generalization capability. To tackle the root cause of biased classification, we follow the recent inspiration of prime training, and propose an avoid-shortcut learning framework without additional training complexity. With well-designed shortcut primes based on Neural Collapse structure, the models are encouraged to skip the pursuit of simple shortcuts and naturally capture the intrinsic correlations. Experimental results demonstrate that our method induces better convergence properties during training, and achieves state-of-the-art generalization performance on both synthetic and real-world biased datasets.
• Abstract（参考訳）: 近年の研究では、ニューラルネットワークが特徴空間とトレーニング対象との適切な相関を確立するとき、それらの最終層の特徴と分類器の重みが、安定で対称な構造に崩壊する、という興味深い現象が指摘されている。 本稿では,不均衡な属性を持つバイアス付きデータセットに対して,ニューラル・コラプス(Neural Collapse)の調査を拡大する。 モデルがショートカット学習の落とし穴に容易に陥り、訓練の初期段階において偏りのない特徴空間を形成し、一般化能力の逆転と制限が困難になるのを観察する。 バイアス付き分類の根本原因に対処するため,近年の素数学習のインスピレーションに追随し,追加の訓練複雑性を伴わない回避ショートカット学習フレームワークを提案する。 ニューラル・コラプス構造に基づくよく設計されたショートカット素数では、モデルは単純なショートカットの追求を省略し、本質的な相関関係を自然に捉えることが推奨される。 実験結果から,本手法はトレーニング中の収束性を向上し,実世界の偏りのあるデータセットに対して最先端の一般化性能を実現することが示された。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• On the Robustness of Neural Collapse and the Neural Collapse of Robustness [6.227447957721122]
  ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。 これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。 我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
  論文  参考訳（メタデータ） (2023-11-13T16:18:58Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Perturbation Analysis of Neural Collapse [24.94449183555951]
  分類のためのディープニューラルネットワークのトレーニングには、ゼロトレーニングエラー点を超えるトレーニング損失を最小限にすることが含まれる。 最近の研究は、全ての最小化器が正確な崩壊を示す理想化された制約のない特徴モデルを通して、この挙動を分析している。 本稿では,この現象を,予め定義された特徴行列の近傍に留まらせることで,よりリッチなモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-29T17:46:03Z)
• Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations [51.552870594221865]
  最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。 また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-06T16:55:41Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。