論文の概要: Uncovering Memorization Effect in the Presence of Spurious Correlations
- arxiv url: http://arxiv.org/abs/2501.00961v3
- Date: Thu, 05 Jun 2025 00:06:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 16:56:39.432319
- Title: Uncovering Memorization Effect in the Presence of Spurious Correlations
- Title（参考訳）: スパーラス相関の存在下での記憶効果の解明
- Authors: Chenyu You, Haocheng Dai, Yifei Min, Jasjeet S. Sekhon, Sarang Joshi, James S. Duncan,
- Abstract要約: 本論文は,ネットワーク内の小さなニューロンの集合における突発的特徴の存在を系統的に示す。
ニューロンの小さなサブセットに集中する急激な記憶は、不均衡なグループパフォーマンスを駆動する上で重要な役割を担っていることを示す。
- 参考スコア（独自算出の注目度）: 19.824897288786303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models often rely on simple spurious features -- patterns in training data that correlate with targets but are not causally related to them, like image backgrounds in foreground classification. This reliance typically leads to imbalanced test performance across minority and majority groups. In this work, we take a closer look at the fundamental cause of such imbalanced performance through the lens of memorization, which refers to the ability to predict accurately on atypical examples (minority groups) in the training set but failing in achieving the same accuracy in the testing set. This paper systematically shows the ubiquitous existence of spurious features in a small set of neurons within the network, providing the first-ever evidence that memorization may contribute to imbalanced group performance. Through three experimental sources of converging empirical evidence, we find the property of a small subset of neurons or channels in memorizing minority group information. Inspired by these findings, we hypothesize that spurious memorization, concentrated within a small subset of neurons, plays a key role in driving imbalanced group performance. To further substantiate this hypothesis, we show that eliminating these unnecessary spurious memorization patterns via a novel framework during training can significantly affect the model performance on minority groups. Our experimental results across various architectures and benchmarks offer new insights on how neural networks encode core and spurious knowledge, laying the groundwork for future research in demystifying robustness to spurious correlation.
- Abstract（参考訳）: 機械学習モデルは、多くの場合、単純な刺激的な機能 -- ターゲットと相関するが、フォアグラウンド分類における画像背景など、それらと因果関係のないトレーニングデータのパターン -- に依存する。
この依存は、少数派と多数派の間で不均衡なテストパフォーマンスをもたらすのが一般的である。
本研究では, トレーニングセットにおける非定型例(マイノリティ群)を正確に予測できるが, テストセットでも同様の精度を達成できないことを示す。
本論文は,ネットワーク内の小さなニューロンの集合におけるスプリアス的特徴のユビキタスな存在を体系的に示し,記憶化が不均衡なグループパフォーマンスに寄与することを示す最初の証拠となる。
実験的な実験的な証拠の3つの源を通じて、少数集団情報を記憶するニューロンやチャネルの小さなサブセットの性質が発見された。
これらの知見に触発されて、ニューロンの小さなサブセットに集中する急激な記憶が、不均衡なグループパフォーマンスを駆動する上で重要な役割を担っていると仮説を立てた。
この仮説をさらに裏付けるために、トレーニング中の新しいフレームワークを介してこれらの不要な急激な記憶パターンを除去することは、マイノリティグループにおけるモデル性能に大きな影響を及ぼすことを示した。
さまざまなアーキテクチャやベンチマークにわたる実験結果から、ニューラルネットワークがコアや刺激的な知識をエンコードする方法に関する新たな洞察が得られました。
関連論文リスト
- Elastic Representation: Mitigating Spurious Correlations for Group Robustness [24.087096334524077]
ディープラーニングモデルは、入力特徴とラベルの急激な相関に依存する場合、深刻なパフォーマンス劣化に悩まされる可能性がある。
ニューラルネットワークの最後の層からの表現に対して,核とフロベニウスの法則を課すことで特徴を学習するための弾性表現(ElRep)を提案する。
論文 参考訳（メタデータ） (2025-02-14T01:25:27Z) - FairDropout: Using Example-Tied Dropout to Enhance Generalization of Minority Groups [10.274236106456758]
経験的リスク最小化で訓練されたモデルは、少数派からの事例を記憶しながら、多数派からの例をうまく一般化する傾向があることを示す。
本研究は、FairDropoutという手法として、この記憶を推論中に削除した特定のニューロンにリダイレクトすることを目的として、サンプルタイドドロップアウトを適用した。
視覚,言語,医療タスクを含むサブポピュレーション・ベンチマーク・スイートを用いて,FairDropoutを実証的に評価した。
論文 参考訳（メタデータ） (2025-02-10T17:18:54Z) - Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse [19.279084204631204]
我々はニューラル・コラプスの調査を、不均衡な属性を持つバイアス付きデータセットに拡張する。
追加の訓練複雑性を伴わない回避ショートカット学習フレームワークを提案する。
ニューラル・コラプス構造に基づくよく設計されたショートカット素数では、モデルは単純なショートカットの追求を省略することが推奨される。
論文 参考訳（メタデータ） (2024-05-09T07:23:37Z) - Using Early Readouts to Mediate Featural Bias in Distillation [30.5299408494168]
ディープネットワークは、現実世界の教師付き学習タスクにおいて、突発的な特徴ラベル相関を学習する傾向がある。
本稿では,従来のネットワーク層からの表現を用いてラベルを予測しようとする新しい早期読み出し機構を提案する。
論文 参考訳（メタデータ） (2023-10-28T04:58:15Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳（メタデータ） (2022-10-17T20:15:24Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。
我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。
我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
論文 参考訳（メタデータ） (2021-05-07T20:23:01Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳（メタデータ） (2020-05-09T01:59:13Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。