論文の概要: How catastrophic can catastrophic forgetting be in linear regression?
- arxiv url: http://arxiv.org/abs/2205.09588v1
- Date: Thu, 19 May 2022 14:28:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 21:35:39.664145
- Title: How catastrophic can catastrophic forgetting be in linear regression?
- Title(参考訳): 壊滅的な破滅はいかにして線形回帰を引き起こすのか?
- Authors: Itay Evron, Edward Moroshko, Rachel Ward, Nati Srebro, Daniel Soudry
- Abstract要約: モデルがその後のタスクのトレーニング後に、以前のタスクの本当のラベルをどれだけ忘れているかを分析する。
線形設定における連続学習と他の2つの研究領域の関連性を確立する。
- 参考スコア(独自算出の注目度): 30.702863017223457
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To better understand catastrophic forgetting, we study fitting an
overparameterized linear model to a sequence of tasks with different input
distributions. We analyze how much the model forgets the true labels of earlier
tasks after training on subsequent tasks, obtaining exact expressions and
bounds. We establish connections between continual learning in the linear
setting and two other research areas: alternating projections and the Kaczmarz
method. In specific settings, we highlight differences between forgetting and
convergence to the offline solution as studied in those areas. In particular,
when T tasks in d dimensions are presented cyclically for k iterations, we
prove an upper bound of T^2 * min{1/sqrt(k), d/k} on the forgetting. This
stands in contrast to the convergence to the offline solution, which can be
arbitrarily slow according to existing alternating projection results. We
further show that the T^2 factor can be lifted when tasks are presented in a
random ordering.
- Abstract(参考訳): 破滅的な記憶をよりよく理解するために,入力分布の異なるタスク列に過パラメータ線形モデルを適用した。
モデルが後続タスクのトレーニング後のタスクの本当のラベルをどれだけ忘れているかを分析し、正確な表現とバウンダリを得る。
線形設定における連続学習と他の2つの研究領域(交互射影法とカツマーツ法)との関係を確立する。
特定の環境では、これらの領域で研究されているように、オフラインソリューションの忘れ方と収束性の違いを強調する。
特に、d次元の T 個のタスクが k 個の反復に対して巡回的に表されるとき、忘れ物について T^2 * min{1/sqrt(k), d/k} の上界が証明される。
これは、既存の交代投影結果に従って任意に遅くなるオフラインソリューションへの収束とは対照的である。
さらに,タスクがランダムな順序付けで提示されると,T^2因子が持ち上げられることを示す。
関連論文リスト
- The Joint Effect of Task Similarity and Overparameterization on
Catastrophic Forgetting -- An Analytical Model [36.766748277141744]
継続的な学習では、破滅的な忘れはタスクの複数の側面に影響される。
これまでの研究は、タスクの類似性やパラメータ化の過度な影響によって、忘れることがどう影響するかを別々に分析してきた。
本稿では,タスクの類似性と過剰なパラメータ化が,分析可能なモデルにおける記憶にどう影響するかを考察する。
論文 参考訳(メタデータ) (2024-01-23T10:16:44Z) - Continual learning for surface defect segmentation by subnetwork
creation and selection [55.2480439325792]
破滅的な忘れを伴わずにセグメンテーションタスクを実行する,新たな連続的(あるいは寿命の長い)学習アルゴリズムを導入する。
この方法は、2つの異なる表面欠陥分割問題に適用され、漸進的に学習される。
当社のアプローチでは,すべてのトレーニングデータ(すべての欠陥)を同時に見る場合,共同トレーニングと同等の結果が得られます。
論文 参考訳(メタデータ) (2023-12-08T15:28:50Z) - SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling
with Backtracking [98.22870889029114]
MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。
我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。
これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。
得られた手法であるSequenceMatchは、敵の訓練や大きなアーキテクチャ変更なしに実装できる。
論文 参考訳(メタデータ) (2023-06-08T17:59:58Z) - Online Tensor Learning: Computational and Statistical Trade-offs,
Adaptivity and Optimal Regret [17.29570708667132]
本稿では,線形モデルと一般化線形モデルの両方を包含したオンライン環境下での潜在低ランクテンソル推定フレームワークについて検討する。
また、オンラインテンソル補完とオンラインバイナリテンソル学習という2つの特定の応用についても検討する。
特に、我々の研究は、オンライン低ランクテンソルリカバリタスクにノイズを組み込む最初の試みである。
論文 参考訳(メタデータ) (2023-06-06T03:21:28Z) - Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。
幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
論文 参考訳(メタデータ) (2022-08-19T19:42:41Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Statistical Inference of Constrained Stochastic Optimization via
Sketched Sequential Quadratic Programming [59.36379287247961]
この問題を解決するために,完全オンライン逐次2次プログラミング(StoSQP)手法を開発した。
最近の数値二階法の設計により、StoSQPは任意のランダムなステップサイズを適応的に選択できる。
また,2次法の計算コストを大幅に削減するため,StoSQPはランダム化反復解法を用いて2次プログラムを不正確に解けるようにした。
論文 参考訳(メタデータ) (2022-05-27T00:34:03Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳(メタデータ) (2022-02-10T18:51:52Z) - Contrastive learning of strong-mixing continuous-time stochastic
processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。
拡散の場合,小~中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文 参考訳(メタデータ) (2021-03-03T23:06:47Z) - Consistent Online Gaussian Process Regression Without the Sample
Complexity Bottleneck [14.309243378538012]
本稿では,現在の後方中心のHellingerメトリックに対して,エラー近傍を修正可能なオンライン圧縮方式を提案する。
一定の誤差半径の場合、POG は集団後部の近傍 (Theorem 1(ii)) に収束するが、特徴空間の計量エントロピーによって決定される有限メモリのオン・ウォーストに収束する。
論文 参考訳(メタデータ) (2020-04-23T11:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。