論文の概要: Continual Learning in the Presence of Spurious Correlation

• arxiv url: http://arxiv.org/abs/2303.11863v1
• Date: Tue, 21 Mar 2023 14:06:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 14:48:12.333958
• Title: Continual Learning in the Presence of Spurious Correlation
• Title（参考訳）: スプリアス相関の存在下での連続学習
• Authors: Donggyu Lee, Sangwon Jung, Taesup Moon
• Abstract要約: 標準的な連続学習アルゴリズムは、前も後ろも、あるタスクから別のタスクへバイアスを転送できることを示す。 グループクラスバランスグレーディサンプリング (Group-class Balanced Greedy Sampling, BGS) と呼ばれる,デバイアス対応連続学習のためのプラグイン手法を提案する。
• 参考スコア（独自算出の注目度）: 23.999136417157597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most continual learning (CL) algorithms have focused on tackling the stability-plasticity dilemma, that is, the challenge of preventing the forgetting of previous tasks while learning new ones. However, they have overlooked the impact of the knowledge transfer when the dataset in a certain task is biased - namely, when some unintended spurious correlations of the tasks are learned from the biased dataset. In that case, how would they affect learning future tasks or the knowledge already learned from the past tasks? In this work, we carefully design systematic experiments using one synthetic and two real-world datasets to answer the question from our empirical findings. Specifically, we first show through two-task CL experiments that standard CL methods, which are unaware of dataset bias, can transfer biases from one task to another, both forward and backward, and this transfer is exacerbated depending on whether the CL methods focus on the stability or the plasticity. We then present that the bias transfer also exists and even accumulate in longer sequences of tasks. Finally, we propose a simple, yet strong plug-in method for debiasing-aware continual learning, dubbed as Group-class Balanced Greedy Sampling (BGS). As a result, we show that our BGS can always reduce the bias of a CL model, with a slight loss of CL performance at most.
• Abstract（参考訳）: 多くの連続学習(CL)アルゴリズムは、安定性と塑性のジレンマ、すなわち、新しいタスクを学習しながら以前のタスクを忘れないようにすることに焦点を当てている。 しかしながら、特定のタスク内のデータセットが偏っている場合、すなわち、偏りのあるデータセットからタスクの意図しない散発的な相関が学習される場合、彼らは知識転送の影響を見逃している。 その場合、それらは将来のタスクの学習や過去のタスクから学んだ知識にどのように影響しますか? 本研究では,1つの合成データと2つの実世界のデータセットを用いて体系的な実験を注意深く設計し,実験結果から質問に答える。 具体的には, 標準CL法は, データセットバイアスを意識せず, 前方および後方の両方のタスクから別のタスクへバイアスを伝達し, CL法が安定性に焦点を絞っているか, 可塑性に焦点をあてているかによってさらに悪化することを示す。 次に、バイアス伝達も存在し、タスクの長いシーケンスに蓄積することを示します。 最後に,グループクラスバランスグレーディサンプリング (Group-class Balanced Greedy Sampling, BGS) と呼ばれる,バイアス認識型連続学習のための簡易かつ強力なプラグイン手法を提案する。 その結果,我々のBGSはCLモデルのバイアスを最小限に抑えることができ,CL性能は低下することがわかった。

関連論文リスト

• Prior-free Balanced Replay: Uncertainty-guided Reservoir Sampling for Long-Tailed Continual Learning [8.191971407001034]
  長い尾を持つデータストリームから、忘れることなく学習するための、新しいPBRフレームワークを提案する。 我々は、忘れる問題をさらに軽減するために、2つの事前自由なコンポーネントを組み込んだ。 提案手法は3つの標準長尾ベンチマークで評価される。
  論文  参考訳（メタデータ） (2024-08-27T11:38:01Z)
• BiasPruner: Debiased Continual Learning for Medical Image Classification [20.6029805375464]
  BiasPrunerは、学習のショートカットにつながる可能性のあるトレーニングデータの素早い相関を意図的に忘れるCLフレームワークである。 推論中、BiasPrunerは、予測に最適なバイアス付きサブネットワークを選択するために、単純なタスクに依存しないアプローチを採用している。 皮膚病変分類と胸部X線分類の3つの医学データセットについて実験を行い,BiasPrunerがSOTA CL法を常に上回っていることを示す。
  論文  参考訳（メタデータ） (2024-07-11T15:45:57Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
  本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。 実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:59:56Z)
• Progressive Learning without Forgetting [8.563323015260709]
  連続学習(CL)のパラダイムにおける2つの課題に焦点をあてる。 PLwFは従来のタスクから関数を導入し、各タスクの最も信頼できる知識を含む知識空間を構築する。 信用割当は、投射を通して勾配の衝突を取り除くことによって、綱引きのダイナミクスを制御する。 他のCL法と比較して,生データに頼らずとも,優れた結果が得られている。
  論文  参考訳（メタデータ） (2022-11-28T10:53:14Z)
• Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer [39.99577526417276]
  継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。 既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。 データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T23:55:51Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• When does Bias Transfer in Transfer Learning? [89.22641454588278]
  トランスファーラーニングを使用して、トレーニング済みの"ソースモデル"を下流の"ターゲットタスク"に適応させることで、ダウンサイドのないように見えるパフォーマンスを劇的に向上させることができる。 結局のところ、バイアス伝達や、モデルがターゲットクラスに適応した後でも、ソースモデルのバイアスが持続する傾向というマイナス面が存在することを実証する。
  論文  参考訳（メタデータ） (2022-07-06T17:58:07Z)
• Learning Stable Classifiers by Transferring Unstable Features [59.06169363181417]
  本研究では,素早い相関関係の存在下での伝達学習について検討する。 提案手法は, ソースタスクで学習した安定な特徴抽出器を直接転送しても, 対象タスクのバイアスを排除できないことを実験的に実証する。 我々は、ソースタスクの不安定な特徴とターゲットタスクの不安定な特徴が直接関連していると仮定する。
  論文  参考訳（メタデータ） (2021-06-15T02:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。