論文の概要: Identifying Spurious Biases Early in Training through the Lens of Simplicity Bias

• arxiv url: http://arxiv.org/abs/2305.18761v1
• Date: Tue, 30 May 2023 05:51:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 18:11:27.030768
• Title: Identifying Spurious Biases Early in Training through the Lens of Simplicity Bias
• Title（参考訳）: Simplicity Biasのレンズによる訓練早期の清浄性ビアーゼの同定
• Authors: Yu Yang, Eric Gan, Gintare Karolina Dziugaite, Baharan Mirzasoleiman
• Abstract要約: 興味深いことに、勾配降下の単純さバイアスを利用して、訓練の早い段階で、突発的な相関を識別できることが示される。 本研究では,SPAREを提案する。このSPAREは,訓練の初期段階において,大集団をスプリアス相関で分離し,重要サンプリングを用いてスプリアス相関を緩和する。 SPAREは最先端手法よりも最大5.6%高いグループ精度を達成でき、しかも最大12倍高速であることを示す。
• 参考スコア（独自算出の注目度）: 18.004260825181344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks trained with (stochastic) gradient descent have an inductive bias towards learning simpler solutions. This makes them highly prone to learning simple spurious features that are highly correlated with a label instead of the predictive but more complex core features. In this work, we show that, interestingly, the simplicity bias of gradient descent can be leveraged to identify spurious correlations, early in training. First, we prove on a two-layer neural network, that groups of examples with high spurious correlation are separable based on the model's output, in the initial training iterations. We further show that if spurious features have a small enough noise-to-signal ratio, the network's output on the majority of examples in a class will be almost exclusively determined by the spurious features and will be nearly invariant to the core feature. Finally, we propose SPARE, which separates large groups with spurious correlations early in training, and utilizes importance sampling to alleviate the spurious correlation, by balancing the group sizes. We show that SPARE achieves up to 5.6% higher worst-group accuracy than state-of-the-art methods, while being up to 12x faster. We also show the applicability of SPARE to discover and mitigate spurious correlations in Restricted ImageNet.
• Abstract（参考訳）: 確率的)勾配降下で訓練されたニューラルネットワークは、より単純なソリューションを学ぶための帰納的バイアスを持つ。 これにより、予測的ではあるがより複雑なコア機能ではなく、ラベルと高い相関性を持つ単純なスプリアス機能を学ぶのが難しくなります。 本研究では,学習の早い段階で,勾配降下の単純さのバイアスを,スプリアス相関の同定に活用できることを示す。 まず, 2層ニューラルネットワークを用いて, 最初のトレーニングイテレーションにおいて, モデル出力に基づいて, 高いスプリアス相関を持つサンプル群を分離可能であることを示す。 さらに,突発的特徴が十分な雑音-信号比を持つ場合,クラス内のほとんどの例におけるネットワークの出力は,ほぼ排他的特徴によって決定され,中心的特徴とほぼ不変であることを示す。 最後に,大規模群とスプリアス相関を早期に分離し,グループの大きさのバランスをとることにより,スプリアス相関を緩和するために重要サンプリングを利用するspareを提案する。 SPAREは最先端手法よりも最大5.6%高いグループ精度を達成でき、しかも最大12倍高速であることを示す。 また,Restricted ImageNetにおけるスプリアス相関の検出と緩和に,SPAREの適用性を示す。

関連論文リスト

• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Outliers with Opposing Signals Have an Outsized Effect on Neural Network Optimization [36.72245290832128]
  自然データにおける深度とヘビーテール構造との相互作用から生じるニューラルネットワーク最適化の新たな現象を同定する。 特に、プログレッシブ・シャープニングと安定性の端について、概念的に新しい原因を示唆している。 強い反対信号を持つトレーニングデータにおいて,2組のオフレーヤ群が有意な影響を示した。
  論文  参考訳（メタデータ） (2023-11-07T17:43:50Z)
• Using Early Readouts to Mediate Featural Bias in Distillation [30.5299408494168]
  ディープネットワークは、現実世界の教師付き学習タスクにおいて、突発的な特徴ラベル相関を学習する傾向がある。 本稿では,従来のネットワーク層からの表現を用いてラベルを予測しようとする新しい早期読み出し機構を提案する。
  論文  参考訳（メタデータ） (2023-10-28T04:58:15Z)
• FACTS: First Amplify Correlations and Then Slice to Discover Bias [17.244153084361102]
  コンピュータビジョンデータセットは、しばしばタスク関連ラベルと(学習しやすい)潜在タスク関連属性の間の急激な相関を含んでいる。 このようなデータセットでトレーニングされたモデルは、"ショートカット"を学び、相関が保たないデータのバイアス分散スライスを過小評価する。 本稿では,まず相関を増幅し,次にバイアスを識別し,下流のバイアス軽減戦略について報告する。
  論文  参考訳（メタデータ） (2023-09-29T17:41:26Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective [47.10907370311025]
  自然言語理解(NLU)モデルは、散発的な相関(すなわちデータセットバイアス)に頼る傾向があり、分布内データセットでは高い性能を得るが、分布外データセットでは性能が劣る。 既存のデバイアス法のほとんどは、バイアスのある特徴を持つサンプルを識別し、弱めていることが多い。 サンプルの重み付けは、サンプルの偏りのない部分から学習する際のモデルを妨げる。 本稿では,特徴空間の観点から,微粒な方法でスプリアス相関を除去することを提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:23:14Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。