論文の概要: Dark Experience for General Continual Learning: a Strong, Simple
Baseline
- arxiv url: http://arxiv.org/abs/2004.07211v2
- Date: Thu, 22 Oct 2020 14:00:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 02:55:47.644497
- Title: Dark Experience for General Continual Learning: a Strong, Simple
Baseline
- Title(参考訳): 一般連続学習のための暗黒体験--強固でシンプルなベースライン
- Authors: Pietro Buzzega, Matteo Boschini, Angelo Porrello, Davide Abati, Simone
Calderara
- Abstract要約: タスク境界が曖昧になり,ドメインやクラス分布が徐々に,あるいは突然に変化するような,汎用連続学習(General Continual Learning, GCL)に向かっています。
我々の単純なベースラインであるダークエクスペリエンス・リプレイは、最適化軌道を通してサンプリングされたネットワークのログと一致します。
標準ベンチマークと新しいGCL評価設定(MNIST-360)の両方を広範囲に解析することにより、このような単純なベースラインが統合されたアプローチよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 18.389103500859804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning has inspired a plethora of approaches and evaluation
settings; however, the majority of them overlooks the properties of a practical
scenario, where the data stream cannot be shaped as a sequence of tasks and
offline training is not viable. We work towards General Continual Learning
(GCL), where task boundaries blur and the domain and class distributions shift
either gradually or suddenly. We address it through mixing rehearsal with
knowledge distillation and regularization; our simple baseline, Dark Experience
Replay, matches the network's logits sampled throughout the optimization
trajectory, thus promoting consistency with its past. By conducting an
extensive analysis on both standard benchmarks and a novel GCL evaluation
setting (MNIST-360), we show that such a seemingly simple baseline outperforms
consolidated approaches and leverages limited resources. We further explore the
generalization capabilities of our objective, showing its regularization being
beneficial beyond mere performance.
- Abstract(参考訳): 継続的学習は多くのアプローチと評価設定に影響を与えているが、その大半は、データストリームがタスクのシーケンスとして形作られず、オフライントレーニングが実行不可能である、実用的なシナリオの性質を見落としている。
タスク境界がぼやけ、ドメインとクラス分布が徐々にあるいは突然にシフトする、一般的な連続学習(gcl)に取り組んでいます。
我々の単純なベースラインであるダーク・エクスペリエンス・リプレイは、最適化軌道を通じてサンプリングされたネットワークのロジットと一致し、過去との一貫性を促進する。
標準ベンチマークと新しいgcl評価設定(mnist-360)の両方を広範囲に分析することにより、このような単純なベースラインが統合アプローチよりも優れ、限られた資源を活用できることを示した。
我々は、目的の一般化能力をさらに探求し、その正規化は単なるパフォーマンス以上の有益であることを示す。
関連論文リスト
- Adaptive End-to-End Metric Learning for Zero-Shot Cross-Domain Slot
Filling [2.6056468338837457]
スロットフィリングは、トレーニング中にサンプルを見ることのない新しいドメインを扱う上で重要な課題である。
ほとんどの先行研究は、メートル法学習に基づく2パスパイプライン方式でこの問題に対処している。
そこで本研究では,ゼロショットスロットの補充に挑戦する手法として,適応的なエンドツーエンドの計量学習手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T19:01:16Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳(メタデータ) (2023-10-11T06:51:46Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T21:51:04Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental
Novel Class Discovery [76.35226130521758]
我々は,MSc-iNCDという,より挑戦的で実践的な学習パラダイムを提案する。
本研究では,MSc-iNCDという,より困難で実践的な学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-03-28T13:47:16Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳(メタデータ) (2023-02-02T12:21:10Z) - Challenges and Opportunities in Offline Reinforcement Learning from
Visual Observations [58.758928936316785]
連続的な行動空間を持つ視覚的観察からオフラインの強化学習は未探索のままである。
2つの一般的な視覚に基づくオンライン強化学習アルゴリズムの変更は、既存のオフラインRL法より優れていることを示す。
論文 参考訳(メタデータ) (2022-06-09T22:08:47Z) - Posterior Meta-Replay for Continual Learning [4.319932092720977]
連続学習(CL)アルゴリズムは最近、i.i.dでトレーニングする必要性を克服しようとするため、多くの注目を集めている。
未知のターゲットデータ分布からのサンプル。
ベイズ的視点を取り入れ,タスク固有の後方分布を継続的に学習することによって,cl問題に取り組むための原理的な方法を検討した。
論文 参考訳(メタデータ) (2021-03-01T17:08:35Z) - Generalized Variational Continual Learning [33.194866396158005]
継続的学習の主なアプローチは、オンラインのElastic Weight Consolidationと変分連続学習である。
この修正により、オンラインEWCを制限ケースとして緩和し、2つのアプローチ間のベースラインを確保できることを示す。
VIのオーバープルーニング効果を観測するために、共通マルチタスクアーキテクチャからインスピレーションを得て、タスク固有のFiLM層によるニューラルネットワークを緩和する。
論文 参考訳(メタデータ) (2020-11-24T19:07:39Z) - Reinforcement Learning for Weakly Supervised Temporal Grounding of
Natural Language in Untrimmed Videos [134.78406021194985]
我々は、時間境界のない粗いビデオレベルの言語記述アノテーションにのみアクセス可能な、このタスクの弱教師付き設定に焦点を当てる。
本稿では,時間境界を段階的に洗練する過程を指導するために,強化学習を利用したemphBoundary Adaptive Refinement(BAR)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-18T03:32:47Z) - Few-Shot Unsupervised Continual Learning through Meta-Examples [21.954394608030388]
教師なしメタコンチネンタル学習とタスクのバランスが取れない新しい複雑な設定を導入する。
我々は、破滅的な忘れを同時に軽減し、新しいタスクへの一般化を優先するメタラーニング手法を利用する。
数ショットの学習ベンチマークによる実験結果から, 教師付きケースと比較して, 競争性能が向上した。
論文 参考訳(メタデータ) (2020-09-17T07:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。