論文の概要: Is forgetting less a good inductive bias for forward transfer?
- arxiv url: http://arxiv.org/abs/2303.08207v1
- Date: Tue, 14 Mar 2023 19:52:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 15:41:47.876564
- Title: Is forgetting less a good inductive bias for forward transfer?
- Title（参考訳）: 転送の帰納バイアスを忘れてはならないだろうか?
- Authors: Jiefeng Chen, Timothy Nguyen, Dilan Gorur, Arslan Chaudhry
- Abstract要約: 本論では,タスクへの前方移動の尺度は,継続学習者に課される制約の影響を受けない,と論じる。
代わりに、フォワード転送は、以前のタスクで連続的な学習によって生成された表現のセットから新しいタスクを学ぶのがいかに簡単かによって測定されるべきである。
その結果, 忘れやすい表現は, 過去の情報保持と学習効率の相関関係が強いことを示唆し, 転送効率が向上することが示された。
- 参考スコア（独自算出の注目度）: 7.704064306361941
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the main motivations of studying continual learning is that the
problem setting allows a model to accrue knowledge from past tasks to learn new
tasks more efficiently. However, recent studies suggest that the key metric
that continual learning algorithms optimize, reduction in catastrophic
forgetting, does not correlate well with the forward transfer of knowledge. We
believe that the conclusion previous works reached is due to the way they
measure forward transfer. We argue that the measure of forward transfer to a
task should not be affected by the restrictions placed on the continual learner
in order to preserve knowledge of previous tasks. Instead, forward transfer
should be measured by how easy it is to learn a new task given a set of
representations produced by continual learning on previous tasks. Under this
notion of forward transfer, we evaluate different continual learning algorithms
on a variety of image classification benchmarks. Our results indicate that less
forgetful representations lead to a better forward transfer suggesting a strong
correlation between retaining past information and learning efficiency on new
tasks. Further, we found less forgetful representations to be more diverse and
discriminative compared to their forgetful counterparts.
- Abstract（参考訳）: 継続的学習を研究する主な動機の1つは、問題設定によってモデルが過去のタスクから知識を得て、より効率的に新しいタスクを学ぶことができることである。
しかし、近年の研究では、連続学習アルゴリズムが破滅的忘れを最適化する鍵となる指標は、知識の転送と相関していないことが示唆されている。
これまでの成果は、転送先を測る方法によるものだと考えています。
我々は,タスクへの前方移動の尺度は,従来のタスクの知識を維持するために,継続学習者に課される制約の影響を受けない,と論じる。
代わりに、フォワード転送は、以前のタスクで連続的な学習によって生成された表現のセットから新しいタスクを学ぶのがいかに簡単かによって測定されるべきである。
このフォワードトランスファーの概念の下で,様々な画像分類ベンチマークを用いて連続学習アルゴリズムを評価する。
その結果, 忘れやすい表現は, 過去の情報保持と学習効率の相関関係が強いことを示唆し, 転送効率が向上することが示された。
さらに, 忘れやすい表現は, 忘れやすい表現に比べて多様性と差別性が低いことがわかった。
関連論文リスト
- Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。
既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。
本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
論文 参考訳（メタデータ） (2022-11-29T15:33:02Z) - Beyond Not-Forgetting: Continual Learning with Backward Knowledge
Transfer [39.99577526417276]
継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。
既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。
データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
論文 参考訳（メタデータ） (2022-11-01T23:55:51Z) - A Theory for Knowledge Transfer in Continual Learning [7.056222499095849]
タスクの継続的な学習は、ディープニューラルネットワークの活発な領域である。
最近の研究は、新しいタスクへのフォワード・ナレッジ・トランスファーについて研究している。
連続的な教師付き学習における知識伝達の理論を提案する。
論文 参考訳（メタデータ） (2022-08-14T22:28:26Z) - Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。
本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
論文 参考訳（メタデータ） (2022-03-13T13:22:41Z) - Revisiting Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [55.93079269566318]
継続的な学習には、学習済みの知識を維持しながら、新しいタスクを学習するモデルが必要である。
本稿では,過去から抽出した知識と新たなタスクの関係を適応的に調整する,双方向最適化に基づくメタ学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-31T12:05:22Z) - Reducing Representation Drift in Online Continual Learning [87.71558506591937]
私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。
この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
論文 参考訳（メタデータ） (2021-04-11T15:19:30Z) - Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。
情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
論文 参考訳（メタデータ） (2020-10-29T08:25:43Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳（メタデータ） (2020-09-24T15:40:55Z) - Representation Ensembling for Synergistic Lifelong Learning with
Quasilinear Complexity [17.858926093389737]
生涯学習では、データは現在のタスクだけでなく、以前に遭遇したタスクや、未報告のタスクでもパフォーマンスを向上させるために使用される。
私たちの重要な洞察は、異なるタスクで独立して学習された表現を相乗的にアンサンブルすることで、前方と後方の両方の転送を可能にします。
論文 参考訳（メタデータ） (2020-04-27T16:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。