論文の概要: Complexity Matters: Dynamics of Feature Learning in the Presence of Spurious Correlations

• arxiv url: http://arxiv.org/abs/2403.03375v1
• Date: Tue, 5 Mar 2024 23:54:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 16:34:14.068686
• Title: Complexity Matters: Dynamics of Feature Learning in the Presence of Spurious Correlations
• Title（参考訳）: 複雑度問題:純粋相関の存在下での特徴学習のダイナミクス
• Authors: GuanWen Qiu, Da Kuang, Surbhi Goel
• Abstract要約: 突発的な相関の下で特徴学習のダイナミクスを考察する。 以上の結果から, 最終層の再トレーニングの成功を正当化し, 急激な相関を除去できることが示唆された。
• 参考スコア（独自算出の注目度）: 14.745089058450581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing research often posits spurious features as "easier" to learn than core features in neural network optimization, but the impact of their relative simplicity remains under-explored. Moreover they mainly focus on the end performance intead of the learning dynamics of feature learning. In this paper, we propose a theoretical framework and associated synthetic dataset grounded in boolean function analysis which allows for fine-grained control on the relative complexity (compared to core features) and correlation strength (with respect to the label) of spurious features to study the dynamics of feature learning under spurious correlation. Our setup uncovers several interesting phenomenon: (1) stronger spurious correlations or simpler spurious features slow down the rate of learning for the core features, (2) learning phases of spurious features and core features are not always separable, (3) spurious features are not forgotten even after core features are fully learned. We show that our findings justify the success of retraining the last layer to remove spurious correlation and also identifies limitations of popular debiasing algorithms that exploit early learning of spurious features. We support our empirical findings with theoretical analyses for the case of learning XOR features with a one-hidden-layer ReLU network.
• Abstract（参考訳）: 既存の研究は、ニューラルネットワーク最適化のコア機能よりも学習しやすいとしばしば主張するが、それらの相対的単純さの影響はいまだ調査されていない。 さらに、主に機能学習の学習ダイナミクスを駆使するエンドパフォーマンスに焦点を当てている。 本稿では,boolean関数解析に基礎を置く理論的枠組みと関連する合成データセットを提案する。これにより,(コア特徴に比較して)相対的複雑性と,(ラベルに関して)スプリアス特徴の相関強度をきめ細かく制御し,スプリアス相関下での機能学習のダイナミクスを研究する。 提案手法では,(1) 主特徴の学習速度の低下,(2) 主特徴と主特徴の学習フェーズが必ずしも分離できないこと,(3) 主特徴が完全に学習されても,主特徴が忘れられてしまうこと,など,いくつかの興味深い現象が明らかになった。 その結果,前層の再トレーニングの成功を正当化し,スプリアス相関を解消し,スプリアス特徴の早期学習を生かした一般的なデバイアスアルゴリズムの限界を特定することができた。 単層ReLUネットワークを用いてXOR特徴を学習する場合の理論的解析により実験結果を支持する。

関連論文リスト

• Elastic Representation: Mitigating Spurious Correlations for Group Robustness [24.087096334524077]
  ディープラーニングモデルは、入力特徴とラベルの急激な相関に依存する場合、深刻なパフォーマンス劣化に悩まされる可能性がある。 ニューラルネットワークの最後の層からの表現に対して,核とフロベニウスの法則を課すことで特徴を学習するための弾性表現(ElRep)を提案する。
  論文  参考訳（メタデータ） (2025-02-14T01:25:27Z)
• Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
  ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。 我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
  論文  参考訳（メタデータ） (2024-06-06T10:38:01Z)
• Interactive Ontology Matching with Cost-Efficient Learning [2.006461411375746]
  この研究は、マッチングに適したアクティブな学習方法であるDualLoopを紹介している。 既存のアクティブラーニング手法と比較すると,F1のスコアとリコールは一貫して向上した。 本稿では,建築,工学,建設(AEC)産業部門における運用実績について報告する。
  論文  参考訳（メタデータ） (2024-04-11T11:53:14Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• ResMatch: Residual Attention Learning for Local Feature Matching [51.07496081296863]
  従来の特徴マッチングとフィルタリングの観点から、クロスアテンションとセルフアテンションを再考する。 我々は,記述者と相対的な位置の類似性を,クロスアテンションスコアとセルフアテンションスコアに注入する。 我々は、記述子と相対的な位置の類似性に応じて隣人内および隣人間を採掘する。
  論文  参考訳（メタデータ） (2023-07-11T11:32:12Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• How Spurious Features Are Memorized: Precise Analysis for Random and NTK Features [19.261178173399784]
  学習課題とは無関係な突発的な特徴について考察する。 それらがどのように2つの異なる用語で記憶されるのかを正確に評価する。 一般化能力の増大に伴い,突発的特徴の記憶が弱まることを示す。
  論文  参考訳（メタデータ） (2023-05-20T05:27:41Z)
• Sample-Efficient Reinforcement Learning in the Presence of Exogenous Information [77.19830787312743]
  実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。 本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。 内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
  論文  参考訳（メタデータ） (2022-06-09T05:19:32Z)
• Continual Feature Selection: Spurious Features in Continual Learning [0.0]
  本稿では,連続学習アルゴリズムにおける特徴量の影響について考察する。 一般化不可能な特徴を過度に組み合わせることで,学習アルゴリズムがタスクを解くことを示す。
  論文  参考訳（メタデータ） (2022-03-02T10:43:54Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning [43.504548777955854]
  本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-05-31T16:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。