論文の概要: SPACE: Structured Compression and Sharing of Representational Space for Continual Learning

• arxiv url: http://arxiv.org/abs/2001.08650v4
• Date: Wed, 3 Feb 2021 06:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 10:02:55.503342
• Title: SPACE: Structured Compression and Sharing of Representational Space for Continual Learning
• Title（参考訳）: SPACE:連続学習のための表現空間の構造的圧縮と共有
• Authors: Gobinda Saha, Isha Garg, Aayush Ankit and Kaushik Roy
• Abstract要約: 漸進的に学習するタスクは、ニューラルネットワークが古いタスクについて学んだ関連情報を上書きし、結果として「破滅的な予測」をもたらす 本研究では,学習した空間をコア空間に分割することで,ネットワークが継続的に効率的に学習できるSPACEを提案する。 我々は,P-MNIST,CIFAR,および8つの異なるデータセットの列に対するアルゴリズムの評価を行い,最先端の手法に匹敵する精度を実現する。
• 参考スコア（独自算出の注目度）: 10.06017287116299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans learn adaptively and efficiently throughout their lives. However, incrementally learning tasks causes artificial neural networks to overwrite relevant information learned about older tasks, resulting in 'Catastrophic Forgetting'. Efforts to overcome this phenomenon often utilize resources poorly, for instance, by growing the network architecture or needing to save parametric importance scores, or violate data privacy between tasks. To tackle this, we propose SPACE, an algorithm that enables a network to learn continually and efficiently by partitioning the learnt space into a Core space, that serves as the condensed knowledge base over previously learned tasks, and a Residual space, which is akin to a scratch space for learning the current task. After learning each task, the Residual is analyzed for redundancy, both within itself and with the learnt Core space. A minimal number of extra dimensions required to explain the current task are added to the Core space and the remaining Residual is freed up for learning the next task. We evaluate our algorithm on P-MNIST, CIFAR and a sequence of 8 different datasets, and achieve comparable accuracy to the state-of-the-art methods while overcoming catastrophic forgetting. Additionally, our algorithm is well suited for practical use. The partitioning algorithm analyzes all layers in one shot, ensuring scalability to deeper networks. Moreover, the analysis of dimensions translates to filter-level sparsity, and the structured nature of the resulting architecture gives us up to 5x improvement in energy efficiency during task inference over the current state-of-the-art.
• Abstract（参考訳）: 人間は人生を通じて適応的かつ効率的に学習する。 しかし、漸進的に学習するタスクは、ニューラルネットワークに古いタスクについて学んだ関連情報を上書きさせ、結果として「破滅的な予測」をもたらす。 例えば、ネットワークアーキテクチャを拡大したり、パラメトリックな重要度スコアを節約したり、タスク間のデータのプライバシーを侵害したりするなどである。 そこで本研究では,学習した空間をコア空間に分割することで,ネットワークが継続的に,かつ効率的に学習できるアルゴリズムであるSPACEと,現在のタスクを学習するためのスクラッチ空間に類似したResidual空間を提案する。 各タスクを学習した後、残余はそれ自体と学習中核空間の両方で冗長性について分析される。 コア空間に現在のタスクを説明するのに必要な最小限の余剰次元を追加し、残りの残余を次のタスクを学ぶために解放する。 我々は,P-MNIST,CIFAR,および8つの異なるデータセットに対してアルゴリズムを評価し,破滅的な忘れを克服しつつ,最先端の手法に匹敵する精度を実現する。 さらに,本アルゴリズムは実用化に適している。 パーティショニングアルゴリズムはすべてのレイヤを1ショットで分析し、より深いネットワークへのスケーラビリティを保証する。 さらに、次元の解析はフィルタレベルの空間性に変換され、結果として得られるアーキテクチャの構造的性質により、現在の技術状況よりもタスク推論時のエネルギー効率が最大5倍向上する。

関連論文リスト

• Continual Learning of Numerous Tasks from Long-tail Distributions [17.706669222987273]
  継続的な学習は、以前獲得した知識を維持しながら、新しいタスクを学習し、適応するモデルの開発に焦点を当てる。 既存の連続学習アルゴリズムは、通常、一定の大きさの少数のタスクを伴い、現実世界の学習シナリオを正確に表現しないことがある。 本稿では,従来のタスクから第2モーメントの重み付け平均を維持することで,アダムの状態を再利用する手法を提案する。 提案手法は,既存のほとんどの連続学習アルゴリズムと互換性があり,少ない計算量やメモリコストで忘れを効果的に削減できることを実証する。
  論文  参考訳（メタデータ） (2024-04-03T13:56:33Z)
• Learning Good Features to Transfer Across Tasks and Domains [16.05821129333396]
  まず、与えられたドメイン内のタスク固有の深い機能間のマッピングを学習することで、タスク間でそのような知識を共有できることを示します。 そして、ニューラルネットワークによって実装されたこのマッピング関数が、新しい未知の領域に一般化可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:49:39Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Counting with Adaptive Auxiliary Learning [23.715818463425503]
  本稿では,オブジェクトカウント問題に対する適応型補助的タスク学習に基づくアプローチを提案する。 本研究では,タスク共有とタスクカスタマイズの両機能学習を実現するために,アダプティブ・アダプティブ・アダプティブ・共有バックボーンネットワークを開発した。 本手法は,現在最先端のタスク学習に基づくカウント手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-03-08T13:10:17Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Gradient Projection Memory for Continual Learning [5.43185002439223]
  過去のタスクを忘れずに継続的に学習する能力は、人工学習システムにとって望ましい属性です。 ニューラルネットワークは,従来のタスクにとって重要と考えられる勾配部分空間に直交方向の勾配を向けることで,新しいタスクを学習する手法を提案する。
  論文  参考訳（メタデータ） (2021-03-17T16:31:29Z)
• Continuous Ant-Based Neural Topology Search [62.200941836913586]
  この研究は、アリコロニー最適化に基づく、自然に着想を得たニューラルアーキテクチャサーチ(NAS)アルゴリズムを導入している。 連続アントベースのニューラルトポロジーサーチ(CANTS)は、アリが現実世界でどのように動くかに強く影響を受けている。
  論文  参考訳（メタデータ） (2020-11-21T17:49:44Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。