論文の概要: Feature Forgetting in Continual Representation Learning

• arxiv url: http://arxiv.org/abs/2205.13359v1
• Date: Thu, 26 May 2022 13:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 21:44:55.840894
• Title: Feature Forgetting in Continual Representation Learning
• Title（参考訳）: 連続表現学習における特徴忘れ
• Authors: Xiao Zhang, Dejing Dou, Ji Wu
• Abstract要約: 表現は、平凡な連続学習においても「破滅的な忘れ」に苦しめられることはないが、その特徴についてはほとんど知られていない。 連続的な学習における表現を評価するためのプロトコルを考案し、それを用いて連続的な表現学習の基本的傾向の概要を示す。 特徴忘れ問題を研究するために、ニューラルネットワークにおける特徴忘れの頻度を識別し視覚化する合成データセットを作成する。
• 参考スコア（独自算出の注目度）: 48.89340526235304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In continual and lifelong learning, good representation learning can help increase performance and reduce sample complexity when learning new tasks. There is evidence that representations do not suffer from "catastrophic forgetting" even in plain continual learning, but little further fact is known about its characteristics. In this paper, we aim to gain more understanding about representation learning in continual learning, especially on the feature forgetting problem. We devise a protocol for evaluating representation in continual learning, and then use it to present an overview of the basic trends of continual representation learning, showing its consistent deficiency and potential issues. To study the feature forgetting problem, we create a synthetic dataset to identify and visualize the prevalence of feature forgetting in neural networks. Finally, we propose a simple technique using gating adapters to mitigate feature forgetting. We conclude by discussing that improving representation learning benefits both old and new tasks in continual learning.
• Abstract（参考訳）: 継続的かつ生涯学習では、優れた表現学習はパフォーマンスの向上と新しいタスクを学ぶ際のサンプル複雑さの低減に寄与する。 単純な連続学習においても、表現が「破滅的な忘れ」に苦しむことはないという証拠があるが、その特徴についてはほとんど知られていない。 本稿では,連続学習における表現学習,特に特徴忘れ問題に関する理解を深めることを目的としている。 連続的な学習における表現を評価するためのプロトコルを考案し、それを用いて連続的な表現学習の基本的傾向の概要を示し、その一貫性の欠如と潜在的な問題を示す。 特徴忘れ問題を研究するために、ニューラルネットワークにおける特徴忘れの傾向を識別し可視化する合成データセットを作成する。 最後に,ゲーティングアダプタを用いて,特徴の忘れを軽減するための簡単な手法を提案する。 我々は、表現学習の改善は、継続学習における古いタスクと新しいタスクの両方に利益をもたらすと結論づける。

関連論文リスト

• Look-Ahead Selective Plasticity for Continual Learning of Visual Tasks [9.82510084910641]
  タスク境界において,タスクが終了し,他のタスク開始時に発生する新しいメカニズムを提案する。 CIFAR10やTinyImagenetなどのコンピュータビジョンデータセットのベンチマークで提案手法を評価する。
  論文  参考訳（メタデータ） (2023-11-02T22:00:23Z)
• Advancing continual lifelong learning in neural information retrieval: definition, dataset, framework, and empirical evaluation [3.2340528215722553]
  連続的なニューラル情報検索の系統的なタスク定式化を示す。 包括的連続神経情報検索フレームワークを提案する。 経験的評価は,提案フレームワークが神経情報検索における破滅的な忘れ込みを効果的に防止できることを示唆している。
  論文  参考訳（メタデータ） (2023-08-16T14:01:25Z)
• Knowledge Accumulation in Continually Learned Representations and the Issue of Feature Forgetting [34.402943976801424]
  本研究では,知識蓄積と特徴忘れという,継続的に学習される表現の質に影響を及ぼす2つの現象の共存について検討する。 表現を忘れることが絶対的に小さいとしても、表現を忘れることは出力レベルで忘れることと同じくらい破滅的な傾向があることを示す。
  論文  参考訳（メタデータ） (2023-04-03T12:45:52Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
  視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。 本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-16T11:23:42Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning [43.504548777955854]
  本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-05-31T16:42:09Z)
• Reward Propagation Using Graph Convolutional Networks [61.32891095232801]
  本稿では,グラフ表現学習のアイデアを活用した潜在機能学習フレームワークを提案する。 我々のアプローチは、強化学習の確率論的推論と組み合わせて、重要な要素として使用するグラフ畳み込みネットワークに依存している。
  論文  参考訳（メタデータ） (2020-10-06T04:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。