論文の概要: Is forgetting less a good inductive bias for forward transfer?
- arxiv url: http://arxiv.org/abs/2303.08207v1
- Date: Tue, 14 Mar 2023 19:52:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 15:41:47.876564
- Title: Is forgetting less a good inductive bias for forward transfer?
- Title（参考訳）: 転送の帰納バイアスを忘れてはならないだろうか?
- Authors: Jiefeng Chen, Timothy Nguyen, Dilan Gorur, Arslan Chaudhry
- Abstract要約: 本論では,タスクへの前方移動の尺度は,継続学習者に課される制約の影響を受けない,と論じる。
代わりに、フォワード転送は、以前のタスクで連続的な学習によって生成された表現のセットから新しいタスクを学ぶのがいかに簡単かによって測定されるべきである。
その結果, 忘れやすい表現は, 過去の情報保持と学習効率の相関関係が強いことを示唆し, 転送効率が向上することが示された。
- 参考スコア（独自算出の注目度）: 7.704064306361941
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the main motivations of studying continual learning is that the
problem setting allows a model to accrue knowledge from past tasks to learn new
tasks more efficiently. However, recent studies suggest that the key metric
that continual learning algorithms optimize, reduction in catastrophic
forgetting, does not correlate well with the forward transfer of knowledge. We
believe that the conclusion previous works reached is due to the way they
measure forward transfer. We argue that the measure of forward transfer to a
task should not be affected by the restrictions placed on the continual learner
in order to preserve knowledge of previous tasks. Instead, forward transfer
should be measured by how easy it is to learn a new task given a set of
representations produced by continual learning on previous tasks. Under this
notion of forward transfer, we evaluate different continual learning algorithms
on a variety of image classification benchmarks. Our results indicate that less
forgetful representations lead to a better forward transfer suggesting a strong
correlation between retaining past information and learning efficiency on new
tasks. Further, we found less forgetful representations to be more diverse and
discriminative compared to their forgetful counterparts.
- Abstract（参考訳）: 継続的学習を研究する主な動機の1つは、問題設定によってモデルが過去のタスクから知識を得て、より効率的に新しいタスクを学ぶことができることである。
しかし、近年の研究では、連続学習アルゴリズムが破滅的忘れを最適化する鍵となる指標は、知識の転送と相関していないことが示唆されている。
これまでの成果は、転送先を測る方法によるものだと考えています。
我々は,タスクへの前方移動の尺度は,従来のタスクの知識を維持するために,継続学習者に課される制約の影響を受けない,と論じる。
代わりに、フォワード転送は、以前のタスクで連続的な学習によって生成された表現のセットから新しいタスクを学ぶのがいかに簡単かによって測定されるべきである。
このフォワードトランスファーの概念の下で,様々な画像分類ベンチマークを用いて連続学習アルゴリズムを評価する。
その結果, 忘れやすい表現は, 過去の情報保持と学習効率の相関関係が強いことを示唆し, 転送効率が向上することが示された。
さらに, 忘れやすい表現は, 忘れやすい表現に比べて多様性と差別性が低いことがわかった。
関連論文リスト
- Multitask Learning with No Regret: from Improved Confidence Bounds to
Active Learning [79.07658065326592]
推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。
タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。
本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-03T13:08:09Z) - Towards Robust and Efficient Continual Language Learning [36.541749819691546]
我々は、直面する可能性のあるさまざまなトランスファーシナリオをターゲットに、タスクシーケンスの新しいベンチマークを構築します。
我々は,過去のタスクチェックポイントから新しいモデルを初期化するための選択的戦略を活用することで,デシダラタの多くを満足させる,シンプルで効果的な学習者を提案する。
論文 参考訳（メタデータ） (2023-07-11T19:08:31Z) - Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。
既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。
本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
論文 参考訳（メタデータ） (2022-11-29T15:33:02Z) - Beyond Not-Forgetting: Continual Learning with Backward Knowledge
Transfer [39.99577526417276]
継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。
既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。
データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
論文 参考訳（メタデータ） (2022-11-01T23:55:51Z) - A Theory for Knowledge Transfer in Continual Learning [7.056222499095849]
タスクの継続的な学習は、ディープニューラルネットワークの活発な領域である。
最近の研究は、新しいタスクへのフォワード・ナレッジ・トランスファーについて研究している。
連続的な教師付き学習における知識伝達の理論を提案する。
論文 参考訳（メタデータ） (2022-08-14T22:28:26Z) - Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。
本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
論文 参考訳（メタデータ） (2022-03-13T13:22:41Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳（メタデータ） (2021-12-31T12:05:22Z) - Reducing Representation Drift in Online Continual Learning [87.71558506591937]
私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。
この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
論文 参考訳（メタデータ） (2021-04-11T15:19:30Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳（メタデータ） (2020-09-24T15:40:55Z) - Representation Ensembling for Synergistic Lifelong Learning with
Quasilinear Complexity [17.858926093389737]
生涯学習では、データは現在のタスクだけでなく、以前に遭遇したタスクや、未報告のタスクでもパフォーマンスを向上させるために使用される。
私たちの重要な洞察は、異なるタスクで独立して学習された表現を相乗的にアンサンブルすることで、前方と後方の両方の転送を可能にします。
論文 参考訳（メタデータ） (2020-04-27T16:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。