論文の概要: How catastrophic can catastrophic forgetting be in linear regression?

• arxiv url: http://arxiv.org/abs/2205.09588v1
• Date: Thu, 19 May 2022 14:28:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 21:35:39.664145
• Title: How catastrophic can catastrophic forgetting be in linear regression?
• Title（参考訳）: 壊滅的な破滅はいかにして線形回帰を引き起こすのか?
• Authors: Itay Evron, Edward Moroshko, Rachel Ward, Nati Srebro, Daniel Soudry
• Abstract要約: モデルがその後のタスクのトレーニング後に、以前のタスクの本当のラベルをどれだけ忘れているかを分析する。 線形設定における連続学習と他の2つの研究領域の関連性を確立する。
• 参考スコア（独自算出の注目度）: 30.702863017223457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To better understand catastrophic forgetting, we study fitting an overparameterized linear model to a sequence of tasks with different input distributions. We analyze how much the model forgets the true labels of earlier tasks after training on subsequent tasks, obtaining exact expressions and bounds. We establish connections between continual learning in the linear setting and two other research areas: alternating projections and the Kaczmarz method. In specific settings, we highlight differences between forgetting and convergence to the offline solution as studied in those areas. In particular, when T tasks in d dimensions are presented cyclically for k iterations, we prove an upper bound of T^2 * min{1/sqrt(k), d/k} on the forgetting. This stands in contrast to the convergence to the offline solution, which can be arbitrarily slow according to existing alternating projection results. We further show that the T^2 factor can be lifted when tasks are presented in a random ordering.
• Abstract（参考訳）: 破滅的な記憶をよりよく理解するために,入力分布の異なるタスク列に過パラメータ線形モデルを適用した。 モデルが後続タスクのトレーニング後のタスクの本当のラベルをどれだけ忘れているかを分析し、正確な表現とバウンダリを得る。 線形設定における連続学習と他の2つの研究領域(交互射影法とカツマーツ法)との関係を確立する。 特定の環境では、これらの領域で研究されているように、オフラインソリューションの忘れ方と収束性の違いを強調する。 特に、d次元の T 個のタスクが k 個の反復に対して巡回的に表されるとき、忘れ物について T^2 * min{1/sqrt(k), d/k} の上界が証明される。 これは、既存の交代投影結果に従って任意に遅くなるオフラインソリューションへの収束とは対照的である。 さらに,タスクがランダムな順序付けで提示されると,T^2因子が持ち上げられることを示す。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning [0.3281128493853064]
  過去のデータにアクセスせずにタスクのシーケンス上でモデルをトレーニングする問題に対処する。 既存の方法は、特徴抽出器の潜在空間におけるガウス分布としてクラスを表す。 本稿では,タスクからタスクへ共分散行列を適用する新しい手法であるAdaGaussを提案する。
  論文  参考訳（メタデータ） (2024-09-26T20:18:14Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting -- An Analytical Model [36.766748277141744]
  継続的な学習では、破滅的な忘れはタスクの複数の側面に影響される。 これまでの研究は、タスクの類似性やパラメータ化の過度な影響によって、忘れることがどう影響するかを別々に分析してきた。 本稿では,タスクの類似性と過剰なパラメータ化が,分析可能なモデルにおける記憶にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2024-01-23T10:16:44Z)
• Continual learning for surface defect segmentation by subnetwork creation and selection [55.2480439325792]
  破滅的な忘れを伴わずにセグメンテーションタスクを実行する,新たな連続的(あるいは寿命の長い)学習アルゴリズムを導入する。 この方法は、2つの異なる表面欠陥分割問題に適用され、漸進的に学習される。 当社のアプローチでは,すべてのトレーニングデータ(すべての欠陥)を同時に見る場合,共同トレーニングと同等の結果が得られます。
  論文  参考訳（メタデータ） (2023-12-08T15:28:50Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression [14.493176427999028]
  線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:51:52Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck [14.309243378538012]
  本稿では,現在の後方中心のHellingerメトリックに対して,エラー近傍を修正可能なオンライン圧縮方式を提案する。 一定の誤差半径の場合、POG は集団後部の近傍 (Theorem 1(ii)) に収束するが、特徴空間の計量エントロピーによって決定される有限メモリのオン・ウォーストに収束する。
  論文  参考訳（メタデータ） (2020-04-23T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。