Fugu-MT 論文翻訳(概要): Complexity Matters: Dynamics of Feature Learning in the Presence of Spurious Correlations

論文の概要: Complexity Matters: Dynamics of Feature Learning in the Presence of Spurious Correlations

arxiv url: http://arxiv.org/abs/2403.03375v3
Date: Sat, 24 Aug 2024 10:03:35 GMT
ステータス: 処理完了
システム内更新日: 2024-08-28 00:16:18.578530
Title: Complexity Matters: Dynamics of Feature Learning in the Presence of Spurious Correlations
Title（参考訳）: 複雑度問題:純粋相関の存在下での特徴学習のダイナミクス
Authors: GuanWen Qiu, Da Kuang, Surbhi Goel,
Abstract要約: 突発的な相関の下で特徴学習のダイナミクスを考察する。以上の結果から, 最終層の再トレーニングの成功を正当化し, 急激な相関を除去できることが示唆された。また、突発的特徴の早期学習を利用する一般的なデバイアスアルゴリズムの限界も特定する。
参考スコア（独自算出の注目度）: 13.119576365743624
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Existing research often posits spurious features as easier to learn than core features in neural network optimization, but the impact of their relative simplicity remains under-explored. Moreover, studies mainly focus on end performance rather than the learning dynamics of feature learning. In this paper, we propose a theoretical framework and an associated synthetic dataset grounded in boolean function analysis. This setup allows for fine-grained control over the relative complexity (compared to core features) and correlation strength (with respect to the label) of spurious features to study the dynamics of feature learning under spurious correlations. Our findings uncover several interesting phenomena: (1) stronger spurious correlations or simpler spurious features slow down the learning rate of the core features, (2) two distinct subnetworks are formed to learn core and spurious features separately, (3) learning phases of spurious and core features are not always separable, (4) spurious features are not forgotten even after core features are fully learned. We demonstrate that our findings justify the success of retraining the last layer to remove spurious correlation and also identifies limitations of popular debiasing algorithms that exploit early learning of spurious features. We support our empirical findings with theoretical analyses for the case of learning XOR features with a one-hidden-layer ReLU network.
Abstract（参考訳）: 既存の研究は、ニューラルネットワークの最適化におけるコア機能よりも、素早い特徴を学習しやすくすることが多いが、それらの相対的単純さの影響は、まだ解明されていない。さらに、主に特徴学習の学習力学よりも、エンドパフォーマンスに焦点を当てている。本稿では,ブール関数解析に基づく理論的枠組みと関連する合成データセットを提案する。この設定により、(中核的な特徴と比較して)相対的な複雑性と(ラベルに関して)相関強度をきめ細かな制御が可能となり、刺激的な相関の下で特徴学習のダイナミクスを研究することができる。その結果,(1) コア特徴の学習速度を低下させ,(2) コア特徴とスプリアス特徴を別々に学習するために,(2) コア特徴とコア特徴の学習フェーズは必ずしも分離可能ではなく,(4) コア特徴が完全に学習された後も,スプリアス特徴を忘れない,という2つの異なるサブネットが形成された。以上の結果から,最終層の再トレーニングの成功を正当化して,突発的相関を除去し,突発的特徴の早期学習を生かした一般的なデバイアスアルゴリズムの限界を識別できることが示唆された。単層ReLUネットワークを用いてXOR特徴を学習する場合の理論的解析により経験的発見を支援する。

関連論文リスト

Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
論文参考訳（メタデータ） (2024-06-06T10:38:01Z)
Interactive Ontology Matching with Cost-Efficient Learning [2.006461411375746]
この研究は、マッチングに適したアクティブな学習方法であるDualLoopを紹介している。既存のアクティブラーニング手法と比較すると,F1のスコアとリコールは一貫して向上した。本稿では,建築,工学,建設(AEC)産業部門における運用実績について報告する。
論文参考訳（メタデータ） (2024-04-11T11:53:14Z)
Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
論文参考訳（メタデータ） (2024-02-04T05:50:38Z)
ResMatch: Residual Attention Learning for Local Feature Matching [51.07496081296863]
従来の特徴マッチングとフィルタリングの観点から、クロスアテンションとセルフアテンションを再考する。我々は,記述者と相対的な位置の類似性を,クロスアテンションスコアとセルフアテンションスコアに注入する。我々は、記述子と相対的な位置の類似性に応じて隣人内および隣人間を採掘する。
論文参考訳（メタデータ） (2023-07-11T11:32:12Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
Identifying Spurious Biases Early in Training through the Lens of Simplicity Bias [25.559684790787866]
訓練の初期にモデルの出力に基づいて,スプリアス機能のある例が確実に分離可能であることを示す。 SPAREは,訓練の初期段階において,素早い相関関係を同定し,その効果を緩和するために重要サンプリングを利用する。
論文参考訳（メタデータ） (2023-05-30T05:51:36Z)
How Spurious Features Are Memorized: Precise Analysis for Random and NTK Features [19.261178173399784]
学習課題とは無関係な突発的な特徴について考察する。それらがどのように2つの異なる用語で記憶されるのかを正確に評価する。一般化能力の増大に伴い,突発的特徴の記憶が弱まることを示す。
論文参考訳（メタデータ） (2023-05-20T05:27:41Z)
Sample-Efficient Reinforcement Learning in the Presence of Exogenous Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文参考訳（メタデータ） (2022-06-09T05:19:32Z)
Continual Feature Selection: Spurious Features in Continual Learning [0.0]
本稿では,連続学習アルゴリズムにおける特徴量の影響について考察する。一般化不可能な特徴を過度に組み合わせることで,学習アルゴリズムがタスクを解くことを示す。
論文参考訳（メタデータ） (2022-03-02T10:43:54Z)
Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文参考訳（メタデータ） (2021-12-06T18:17:08Z)
Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning [43.504548777955854]
本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
論文参考訳（メタデータ） (2021-05-31T16:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。