論文の概要: Mitigating Simplicity Bias in Deep Learning for Improved OOD
Generalization and Robustness
- arxiv url: http://arxiv.org/abs/2310.06161v1
- Date: Mon, 9 Oct 2023 21:19:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 21:39:42.714771
- Title: Mitigating Simplicity Bias in Deep Learning for Improved OOD
Generalization and Robustness
- Title(参考訳): OODの一般化とロバスト性向上のための深層学習における単純度バイアスの緩和
- Authors: Bhavya Vasudeva, Kameron Shahabi, Vatsal Sharan
- Abstract要約: モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。
まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。
様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
- 参考スコア(独自算出の注目度): 5.976013616522926
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural networks (NNs) are known to exhibit simplicity bias where they tend to
prefer learning 'simple' features over more 'complex' ones, even when the
latter may be more informative. Simplicity bias can lead to the model making
biased predictions which have poor out-of-distribution (OOD) generalization. To
address this, we propose a framework that encourages the model to use a more
diverse set of features to make predictions. We first train a simple model, and
then regularize the conditional mutual information with respect to it to obtain
the final model. We demonstrate the effectiveness of this framework in various
problem settings and real-world applications, showing that it effectively
addresses simplicity bias and leads to more features being used, enhances OOD
generalization, and improves subgroup robustness and fairness. We complement
these results with theoretical analyses of the effect of the regularization and
its OOD generalization properties.
- Abstract(参考訳): ニューラルネットワーク(nns)は、より「複雑」な機能よりも「シンプル」な機能を学習することを好む傾向のある、単純さのバイアスを示すことで知られている。
単純性バイアスは、分布外分布(OOD)の一般化が不十分なバイアス予測をモデルに導く可能性がある。
そこで本研究では,モデルがより多様な機能を用いて予測を行うように促すフレームワークを提案する。
まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。
様々な問題設定や実世界のアプリケーションでこのフレームワークの有効性を実証し、単純さのバイアスに効果的に対処し、より多くの機能を実現することを示し、OODの一般化を強化し、サブグループの堅牢性と公正性を向上させる。
これらの結果は、正規化の効果とそのOOD一般化特性の理論解析によって補完する。
関連論文リスト
- Spurious Feature Diversification Improves Out-of-distribution
Generalization [45.73116618895293]
アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。
トレーニング済みモデルと微調整済みモデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTについて検討する。
論文 参考訳(メタデータ) (2023-09-29T13:29:22Z) - Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。
空間性と一般化の基本的なトレードオフを示す。
論文 参考訳(メタデータ) (2023-07-01T20:59:05Z) - Adaptive Contextual Perception: How to Generalize to New Backgrounds and
Ambiguous Objects [75.15563723169234]
本研究では,視覚モデルが分布外一般化の文脈をどのように適応的に利用するかを検討する。
1つの設定で優れているモデルは、もう1つの設定で苦労する傾向があります。
生物学的視覚の一般化能力を再現するためには、コンピュータビジョンモデルは背景表現に対して分解対象を持つ必要がある。
論文 参考訳(メタデータ) (2023-06-09T15:29:54Z) - Understanding and Improving Feature Learning for Out-of-Distribution
Generalization [41.06375309780553]
我々は、OODの一般化に備えたよりリッチな特徴を学習するために、モデルを強制するためのFeAT(Feature Augmented Training)を提案する。
反復的にモデルを拡張して、すでに学んだ機能を維持しながら、新しい機能を学習する。
実験により、FeATはよりリッチな特徴を効果的に学習し、様々なOOD目標の性能を高めることが示されている。
論文 参考訳(メタデータ) (2023-04-22T05:57:00Z) - Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in
Neural Networks [66.76034024335833]
バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。
本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。
我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
論文 参考訳(メタデータ) (2022-10-04T04:01:15Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。
従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
論文 参考訳(メタデータ) (2021-05-24T08:06:35Z) - Evading the Simplicity Bias: Training a Diverse Set of Models Discovers
Solutions with Superior OOD Generalization [93.8373619657239]
SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。
この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。
単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
論文 参考訳(メタデータ) (2021-05-12T12:12:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。