論文の概要: Insights from the Future for Continual Learning

• arxiv url: http://arxiv.org/abs/2006.13748v1
• Date: Wed, 24 Jun 2020 14:05:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 12:59:13.461005
• Title: Insights from the Future for Continual Learning
• Title（参考訳）: 継続的学習の未来からの展望
• Authors: Arthur Douillard and Eduardo Valle and Charles Ollion and Thomas Robert and Matthieu Cord
• Abstract要約: 我々は,授業データに先立って,授業に関する既存の情報を組み込むための,新しい実験環境である先進的連続学習を提案する。 私たちの設定には、トレーニングサンプルがまったくない将来のクラスが追加されます。 損失を慎重に調整した表現空間の生成モデルにより、将来のクラスからの洞察を利用して過去のクラスと現在のクラスの空間配置を制約することができる。
• 参考スコア（独自算出の注目度）: 45.58831178202245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning aims to learn tasks sequentially, with (often severe) constraints on the storage of old learning samples, without suffering from catastrophic forgetting. In this work, we propose prescient continual learning, a novel experimental setting, to incorporate existing information about the classes, prior to any training data. Usually, each task in a traditional continual learning setting evaluates the model on present and past classes, the latter with a limited number of training samples. Our setting adds future classes, with no training samples at all. We introduce Ghost Model, a representation-learning-based model for continual learning using ideas from zero-shot learning. A generative model of the representation space in concert with a careful adjustment of the losses allows us to exploit insights from future classes to constraint the spatial arrangement of the past and current classes. Quantitative results on the AwA2 and aP\&Y datasets and detailed visualizations showcase the interest of this new setting and the method we propose to address it.
• Abstract（参考訳）: 継続的学習は、壊滅的な忘れに苦しむことなく、古い学習サンプルの保存に(しばしば厳しい)制約を課して、タスクを順次学習することを目的としている。 本研究では,授業データに先立って,授業に関する既存の情報を組み込むための,新しい実験環境である先進的連続学習を提案する。 通常、伝統的な連続学習環境における各タスクは、現在のクラスと過去のクラスでモデルを評価し、後者は限られたトレーニングサンプルで評価する。 私たちの設定は、トレーニングサンプルなしで、将来のクラスを追加します。 ゼロショット学習のアイデアを用いた連続学習モデルであるGhost Modelを紹介する。 損失を慎重に調整した表現空間の生成モデルにより、将来のクラスからの洞察を利用して過去のクラスと現在のクラスの空間配置を制約することができる。 AwA2データセットとaP\&Yデータセットの定量的結果と詳細な視覚化は、この新しい設定の関心とそれに対応する方法を示す。

関連論文リスト

• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• COOLer: Class-Incremental Learning for Appearance-Based Multiple Object Tracking [32.47215340215641]
  本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。 オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。 我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
  論文  参考訳（メタデータ） (2023-10-04T17:49:48Z)
• Continual Zero-Shot Learning through Semantically Guided Generative Random Walks [56.65465792750822]
  生成モデルを利用して、学習中に見えない情報が提供されない連続ゼロショット学習の課題に対処する。 本稿では,新しい意味誘導型生成ランダムウォーク(GRW)損失を用いた学習アルゴリズムを提案する。 提案アルゴリズムは,AWA1,AWA2,CUB,SUNデータセットの最先端性能を達成し,既存のCZSL手法を3～7%上回る結果を得た。
  論文  参考訳（メタデータ） (2023-08-23T18:10:12Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
  半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
  論文  参考訳（メタデータ） (2022-08-24T04:26:21Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• An Empirical Investigation of the Role of Pre-training in Lifelong Learning [21.995593026269578]
  複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。 本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
  論文  参考訳（メタデータ） (2021-12-16T19:00:55Z)
• Continual Learning Using Multi-view Task Conditional Neural Networks [6.27221711890162]
  従来のディープラーニングモデルは、複数のタスクを逐次学習する能力に制限がある。 再帰的なタスクを事前に知る必要のないマルチビュータスク条件ニューラルネットワーク(Mv-TCNN)を提案する。
  論文  参考訳（メタデータ） (2020-05-08T01:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。