論文の概要: Continual Feature Selection: Spurious Features in Continual Learning
- arxiv url: http://arxiv.org/abs/2203.01012v1
- Date: Wed, 2 Mar 2022 10:43:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 00:59:57.776295
- Title: Continual Feature Selection: Spurious Features in Continual Learning
- Title（参考訳）: 連続的特徴選択:連続学習における純粋特徴
- Authors: Timoth\'ee Lesort
- Abstract要約: 本稿では,連続学習アルゴリズムにおける特徴量の影響について考察する。
一般化不可能な特徴を過度に組み合わせることで,学習アルゴリズムがタスクを解くことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual Learning (CL) is the research field addressing learning settings
where the data distribution is not static. This paper studies spurious
features' influence on continual learning algorithms. Indeed, we show that
learning algorithms solve tasks by overfitting features that are not
generalizable. To better understand these phenomena and their impact, we
propose a domain incremental scenario that we study through various
out-of-distribution generalizations and continual learning algorithms. The
experiments of this paper show that continual learning algorithms face two
related challenges: (1) the spurious features challenge: some features are well
correlated with labels in train data but not in test data due to a covariate
shift between train and test. (2) the local spurious features challenge: some
features correlate well with labels within a task but not within the whole task
sequence. The challenge is to learn general features that are neither spurious
(in general) nor locally spurious. We prove that the latter is a major cause of
performance decrease in continual learning along with catastrophic forgetting.
Our results indicate that the best solution to overcome the feature selection
problems varies depending on the correlation between spurious features (SFs)
and labels. The vanilla replay approach seems to be a powerful approach to deal
with SFs, which could explain its good performance in the continual learning
literature. This paper presents a different way of understanding performance
decrease in continual learning by describing the influence of spurious/local
spurious features.
- Abstract（参考訳）: 連続学習 (CL) は、データの分布が静的でない学習環境に対処する研究分野である。
本稿では,連続学習アルゴリズムに対する特徴の影響について考察する。
実際、学習アルゴリズムは一般化できない機能を過剰に満たすことで課題を解決できることが示される。
これらの現象とその影響をよりよく理解するために,様々な分散一般化と連続学習アルゴリズムを通して研究する領域インクリメンタルシナリオを提案する。
本研究は, 連続学習アルゴリズムが2つの課題に直面することを示す。(1) 突発的特徴課題: ある特徴は, 列車データ中のラベルとよく相関するが, 列車と試験の共変によるテストデータには関係しない。
2) 局所的なスプリアス機能課題: ある機能はタスク内のラベルとよく相関するが、タスクシーケンス全体には関連しない。
課題は、(一般的に)スプリアスでもローカルスプリアスでもない一般的な特徴を学ぶことです。
後者は,破滅的な忘れ込みを伴う連続学習における性能低下の大きな原因であることを示す。
その結果,特徴選択問題を克服する最善の解法は,特徴量(SF)とラベルの相関によって異なることがわかった。
バニラリプレイ(vanilla replay)アプローチは、sfsに対処するための強力なアプローチであるように思われる。
本稿では,スプリアス・ローカル・スプリアスの影響を説明することにより,連続学習におけるパフォーマンスの低下を理解するための異なる方法を提案する。
関連論文リスト
- Complexity Matters: Dynamics of Feature Learning in the Presence of Spurious Correlations [13.119576365743624]
突発的な相関の下で特徴学習のダイナミクスを考察する。
以上の結果から, 最終層の再トレーニングの成功を正当化し, 急激な相関を除去できることが示唆された。
また、突発的特徴の早期学習を利用する一般的なデバイアスアルゴリズムの限界も特定する。
論文 参考訳（メタデータ） (2024-03-05T23:54:00Z) - Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳（メタデータ） (2023-10-17T08:04:45Z) - Long-Tailed Recognition by Mutual Information Maximization between
Latent Features and Ground-Truth Labels [10.782043595405831]
本稿では,比較学習とロジット調整を統合して,音声認識ベンチマークにおける最先端性能を示す損失関数を導出する。
また、画像分割タスクにおけるその有効性を示し、画像分類を超えた不均衡を検証する。
論文 参考訳（メタデータ） (2023-05-02T02:29:18Z) - Knowledge Accumulation in Continually Learned Representations and the Issue of Feature Forgetting [34.402943976801424]
本研究では,知識蓄積と特徴忘れという,継続的に学習される表現の質に影響を及ぼす2つの現象の共存について検討する。
表現を忘れることが絶対的に小さいとしても、表現を忘れることは出力レベルで忘れることと同じくらい破滅的な傾向があることを示す。
論文 参考訳（メタデータ） (2023-04-03T12:45:52Z) - Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。
本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。
本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
論文 参考訳（メタデータ） (2022-10-27T16:06:47Z) - ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。
本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
論文 参考訳（メタデータ） (2022-05-10T15:39:11Z) - Automated Self-Supervised Learning for Graphs [37.14382990139527]
本研究の目的は、複数のプリテキストタスクを効果的に活用する方法を検討することである。
我々は、多くの実世界のグラフ、すなわちホモフィリーの鍵となる原理を、様々な自己教師付きプレテキストタスクを効果的に探索するためのガイダンスとして利用している。
本稿では,自己教師型タスクの組み合わせを自動的に検索するAutoSSLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-10T03:09:20Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳（メタデータ） (2021-05-08T22:26:52Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Learning Causal Models Online [103.87959747047158]
予測モデルは、予測を行うためにデータの急激な相関に依存することができる。
強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。
本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-12T20:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。