論文の概要: Chunking: Continual Learning is not just about Distribution Shift

• arxiv url: http://arxiv.org/abs/2310.02206v2
• Date: Thu, 11 Jul 2024 12:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 23:47:33.475890
• Title: Chunking: Continual Learning is not just about Distribution Shift
• Title（参考訳）: チャンキング: 継続的学習は単なる分散シフトではない
• Authors: Thomas L. Lee, Amos Storkey,
• Abstract要約: チャンキングはCLの重要な部分であり、オフライン学習によるパフォーマンス低下の約半分を占めています。 現在のCLアルゴリズムはチャンキングサブプロブレムに対処せず、データ分布に変化がない場合にのみ、通常のSGDトレーニングを実行する。 チャンキングサブプロブレムの性能は向上し,本性能は全CL設定に遷移することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Work on continual learning (CL) has thus far largely focused on the problems arising from shifts in the data distribution. However, CL can be decomposed into two sub-problems: (a) shifts in the data distribution, and (b) dealing with the fact that the data is split into chunks and so only a part of the data is available to be trained on at any point in time. In this work, we look at the latter sub-problem, the chunking of data. We show that chunking is an important part of CL, accounting for around half of the performance drop from offline learning in our experiments. Furthermore, our results reveal that current CL algorithms do not address the chunking sub-problem, only performing as well as plain SGD training when there is no shift in the data distribution. Therefore, we show that chunking is both an important and currently unaddressed sub-problem and until it is addressed CL methods will be capped in performance. Additionally, we analyse why performance drops when learning occurs on identically distributed chunks of data, and find that forgetting, which is often seen to be a problem due to distribution shift, still arises and is a significant problem. We also show that performance on the chunking sub-problem can be increased and that this performance transfers to the full CL setting, where there is distribution shift. Hence, we argue that work on chunking can help advance CL in general.
• Abstract（参考訳）: 連続学習(CL)の研究は、これまでのところ、データ分散の変化に起因する問題に主に焦点を合わせてきた。 しかし、CLは2つのサブプロブレムに分解することができる。 (a)データ配信のシフト、および b) データがチャンクに分割されているという事実を扱うため、任意の時点でデータの一部のみをトレーニングすることができる。 本稿では、後者のサブプロブレム、すなわちデータのチャンキングについて考察する。 実験では,オフライン学習によるパフォーマンス低下の約半数を,チャンキングがCLの重要な部分であることを示しています。 さらに,現在のCLアルゴリズムはチャンキングサブプロブレムに対処せず,データ分布に変化がない場合にのみ,通常のSGDトレーニングを行う。 したがって,チャンキングは重要かつ現在未対応のサブプロブレムであり,CLメソッドに対処するまでは性能が向上することを示す。 さらに、同じ分散したデータチャンク上で学習が生じるとパフォーマンスが低下する理由を分析した結果、分散シフトによる問題としてしばしば見られる、忘れることが依然として発生し、重大な問題であることが判明した。 また,チャンキングサブプロブレムの性能は向上し,この性能は分布シフトがある全CL設定に遷移することを示す。 したがって、チャンキングの作業は一般にCLを前進させるのに役立つと論じる。

関連論文リスト

• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
  連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。 ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。 CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
  論文  参考訳（メタデータ） (2023-04-09T04:36:24Z)
• Continual Learning in the Presence of Spurious Correlation [23.999136417157597]
  標準的な連続学習アルゴリズムは、前も後ろも、あるタスクから別のタスクへバイアスを転送できることを示す。 グループクラスバランスグレーディサンプリング (Group-class Balanced Greedy Sampling, BGS) と呼ばれる,デバイアス対応連続学習のためのプラグイン手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T14:06:12Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
  本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。 この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:51:52Z)
• Foundational Models for Continual Learning: An Empirical Study of Latent Replay [17.322679682451597]
  本稿では,下流の連続学習シナリオの基礎として,事前学習型視覚モデルの有効性について検討する。 大規模ベンチマークシナリオにおける各種事前学習モデルの有効性を,潜時および生データ空間におけるバニラ再生設定と比較した。
  論文  参考訳（メタデータ） (2022-04-30T19:11:37Z)
• Weakly Supervised Continual Learning [17.90483695137098]
  この研究は、弱々しい監視された継続的学習(WSCL)を探求する 我々の提案は、教師付き情報が不足している場合に高い柔軟性を示すだけでなく、25%未満のラベルが、完全な監督の下で訓練されたSOTAメソッドに到達したり、性能を上回るのに十分であることを示す。 そこで本手法では, 教師付き情報が少ない場合に高い柔軟性を示すだけでなく, 25%未満のラベルが, 完全監督下で訓練されたSOTA手法に到達したり, 性能を向上させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2021-08-14T14:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。