論文の概要: The Silent Majority: Demystifying Memorization Effect in the Presence of Spurious Correlations
- arxiv url: http://arxiv.org/abs/2501.00961v1
- Date: Wed, 01 Jan 2025 21:45:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-05 17:17:23.601291
- Title: The Silent Majority: Demystifying Memorization Effect in the Presence of Spurious Correlations
- Title（参考訳）: 無秩序な多数派--無秩序な相関の存在下での暗記効果
- Authors: Chenyu You, Haocheng Dai, Yifei Min, Jasjeet S. Sekhon, Sarang Joshi, James S. Duncan,
- Abstract要約: 本稿では,ネットワーク内の小さなニューロンの集合において,突発的特徴のユビキタスな存在を体系的に示す。
少数集団情報を記憶するニューロンやチャネルの小さなサブセットの性質を見いだす。
この仮説を裏付けるために,これらの不要な急激な記憶パターンをトレーニング中に新たな枠組みによって排除することは,マイノリティグループにおけるモデル性能に顕著に影響を及ぼすことを示した。
- 参考スコア（独自算出の注目度）: 19.824897288786303
- License:
- Abstract: Machine learning models often rely on simple spurious features -- patterns in training data that correlate with targets but are not causally related to them, like image backgrounds in foreground classification. This reliance typically leads to imbalanced test performance across minority and majority groups. In this work, we take a closer look at the fundamental cause of such imbalanced performance through the lens of memorization, which refers to the ability to predict accurately on \textit{atypical} examples (minority groups) in the training set but failing in achieving the same accuracy in the testing set. This paper systematically shows the ubiquitous existence of spurious features in a small set of neurons within the network, providing the first-ever evidence that memorization may contribute to imbalanced group performance. Through three experimental sources of converging empirical evidence, we find the property of a small subset of neurons or channels in memorizing minority group information. Inspired by these findings, we articulate the hypothesis: the imbalanced group performance is a byproduct of ``noisy'' spurious memorization confined to a small set of neurons. To further substantiate this hypothesis, we show that eliminating these unnecessary spurious memorization patterns via a novel framework during training can significantly affect the model performance on minority groups. Our experimental results across various architectures and benchmarks offer new insights on how neural networks encode core and spurious knowledge, laying the groundwork for future research in demystifying robustness to spurious correlation.
- Abstract（参考訳）: 機械学習モデルは、多くの場合、単純な刺激的な機能 -- ターゲットと相関するが、フォアグラウンド分類における画像背景など、それらと因果関係のないトレーニングデータのパターン -- に依存する。
この依存は、少数派と多数派の間で不均衡なテストパフォーマンスをもたらすのが一般的である。
本研究は, トレーニングセットにおけるtextit{atypical}例(マイノリティ群)を正確に予測できるが, テストセットで同じ精度を達成できない,という, 記憶のレンズによる不均衡な性能の根本的な原因について, より詳しく検討する。
本論文は,ネットワーク内の小さなニューロンの集合におけるスプリアス的特徴のユビキタスな存在を体系的に示し,記憶化が不均衡なグループパフォーマンスに寄与することを示す最初の証拠となる。
実験的な実験的な証拠の3つの源を通じて、少数集団情報を記憶するニューロンやチャネルの小さなサブセットの性質が発見された。
これらの知見に触発されて、我々は、不均衡な群のパフォーマンスは、小さなニューロンの集合に制限された「うるさい」の刺激的な記憶の副産物である、という仮説を明記した。
この仮説をさらに裏付けるために、トレーニング中の新しいフレームワークを介してこれらの不要な急激な記憶パターンを除去することは、マイノリティグループにおけるモデル性能に大きな影響を及ぼすことを示した。
さまざまなアーキテクチャやベンチマークにわたる実験結果から、ニューラルネットワークがコアや刺激的な知識をエンコードする方法に関する新たな洞察が得られました。
関連論文リスト
- Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse [19.279084204631204]
我々はニューラル・コラプスの調査を、不均衡な属性を持つバイアス付きデータセットに拡張する。
追加の訓練複雑性を伴わない回避ショートカット学習フレームワークを提案する。
ニューラル・コラプス構造に基づくよく設計されたショートカット素数では、モデルは単純なショートカットの追求を省略することが推奨される。
論文 参考訳（メタデータ） (2024-05-09T07:23:37Z) - Using Early Readouts to Mediate Featural Bias in Distillation [30.5299408494168]
ディープネットワークは、現実世界の教師付き学習タスクにおいて、突発的な特徴ラベル相関を学習する傾向がある。
本稿では,従来のネットワーク層からの表現を用いてラベルを予測しようとする新しい早期読み出し機構を提案する。
論文 参考訳（メタデータ） (2023-10-28T04:58:15Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳（メタデータ） (2022-10-17T20:15:24Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。
我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。
我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
論文 参考訳（メタデータ） (2021-05-07T20:23:01Z) - Analyzing Overfitting under Class Imbalance in Neural Networks for Image
Segmentation [19.259574003403998]
画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。
本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
論文 参考訳（メタデータ） (2021-02-20T14:57:58Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳（メタデータ） (2020-05-09T01:59:13Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。