論文の概要: Learning a Low-Rank Feature Representation: Achieving Better Trade-Off between Stability and Plasticity in Continual Learning

• arxiv url: http://arxiv.org/abs/2312.08740v1
• Date: Thu, 14 Dec 2023 08:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 23:37:32.716815
• Title: Learning a Low-Rank Feature Representation: Achieving Better Trade-Off between Stability and Plasticity in Continual Learning
• Title（参考訳）: 低ランク特徴表現の学習:連続学習における安定性と塑性のトレードオフの改善
• Authors: Zhenrong Liu, Yang Li, Yi Gong and Yik-Chung Wu
• Abstract要約: 連続学習では、ネットワークは一連のタスクでトレーニングされた場合、安定性と可塑性の間のトレードオフに直面します。 そこで我々は, LRFRと呼ばれる新しいトレーニングアルゴリズムを提案し, 安定性を犠牲にすることなく, 可塑性を増強する。 CIFAR-100とTinyImageNetを連続学習のベンチマークデータセットとして使用することにより、提案手法は一貫して最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 20.15493383736196
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In continual learning, networks confront a trade-off between stability and plasticity when trained on a sequence of tasks. To bolster plasticity without sacrificing stability, we propose a novel training algorithm called LRFR. This approach optimizes network parameters in the null space of the past tasks' feature representation matrix to guarantee the stability. Concurrently, we judiciously select only a subset of neurons in each layer of the network while training individual tasks to learn the past tasks' feature representation matrix in low-rank. This increases the null space dimension when designing network parameters for subsequent tasks, thereby enhancing the plasticity. Using CIFAR-100 and TinyImageNet as benchmark datasets for continual learning, the proposed approach consistently outperforms state-of-the-art methods.
• Abstract（参考訳）: 連続学習では、ネットワークは一連のタスクでトレーニングされた場合、安定性と可塑性の間のトレードオフに直面します。 安定性を犠牲にすることなく可塑性を高めるために,LRFRと呼ばれる新しいトレーニングアルゴリズムを提案する。 このアプローチは、安定性を保証するために過去のタスクのフィーチャー表現行列のヌル空間におけるネットワークパラメータを最適化する。 同時に、ネットワークの各層におけるニューロンのサブセットのみを任意に選択し、個々のタスクを訓練して過去のタスクの特徴表現行列を低ランクで学習する。 これにより、その後のタスクでネットワークパラメータを設計する際のヌル空間次元が増大し、可塑性が向上する。 CIFAR-100とTinyImageNetを連続学習のベンチマークデータセットとして使用することにより、提案手法は一貫して最先端の手法より優れている。

関連論文リスト

• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging [12.168402195820649]
  In this proposed a Dual-Learner framework with Cumulative。 平均化(DLCPA) DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-28T08:48:44Z)
• Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning [23.15206507040553]
  本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。 ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。 より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
  論文  参考訳（メタデータ） (2023-03-16T17:00:42Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• Continual Learning with Guarantees via Weight Interval Constraints [18.791232422083265]
  ニューラルネットパラメータ空間の間隔制約を適用して、忘れを抑える新しいトレーニングパラダイムを導入する。 本稿では,モデルの連続的学習をパラメータ空間の連続的縮約として再構成することで,忘れることに制限を加える方法を示す。
  論文  参考訳（メタデータ） (2022-06-16T08:28:37Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Training Networks in Null Space of Feature Covariance for Continual Learning [34.095874368589904]
  従来のタスクのヌルスペース内でネットワークパラメータを逐次最適化する新しいネットワークトレーニングアルゴリズムadam-nsclを提案する。 このアプローチを,cifar-100とtinyimagenetのベンチマークデータセット上での連続学習のためのトレーニングネットワークに適用する。
  論文  参考訳（メタデータ） (2021-03-12T07:21:48Z)
• Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
  連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。 破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。 微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-30T06:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。