論文の概要: Continual Learning in Low-rank Orthogonal Subspaces

• arxiv url: http://arxiv.org/abs/2010.11635v2
• Date: Tue, 8 Dec 2020 15:23:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 07:27:21.075446
• Title: Continual Learning in Low-rank Orthogonal Subspaces
• Title（参考訳）: 低次直交部分空間における連続学習
• Authors: Arslan Chaudhry, Naeemullah Khan, Puneet K. Dokania, Philip H. S. Torr
• Abstract要約: 連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
• 参考スコア（独自算出の注目度）: 86.36417214618575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In continual learning (CL), a learner is faced with a sequence of tasks, arriving one after the other, and the goal is to remember all the tasks once the continual learning experience is finished. The prior art in CL uses episodic memory, parameter regularization or extensible network structures to reduce interference among tasks, but in the end, all the approaches learn different tasks in a joint vector space. We believe this invariably leads to interference among different tasks. We propose to learn tasks in different (low-rank) vector subspaces that are kept orthogonal to each other in order to minimize interference. Further, to keep the gradients of different tasks coming from these subspaces orthogonal to each other, we learn isometric mappings by posing network training as an optimization problem over the Stiefel manifold. To the best of our understanding, we report, for the first time, strong results over experience-replay baseline with and without memory on standard classification benchmarks in continual learning. The code is made publicly available.
• Abstract（参考訳）: 連続学習(cl)では、学習者は次々にやってくる一連のタスクに直面し、継続的な学習経験が終わったらすべてのタスクを思い出すことが目標である。 clの先行技術では、タスク間の干渉を減らすためにエピソディックメモリ、パラメータ正規化、拡張可能なネットワーク構造を使用するが、最終的にはすべてのアプローチがジョイントベクトル空間で異なるタスクを学習する。 私たちは、このことが様々なタスクの干渉につながると信じています。 干渉を最小限に抑えるために互いに直交する異なる(低ランク)ベクトル部分空間でタスクを学習することを提案する。 さらに、これらの部分空間から生じる異なるタスクの勾配を互いに直交して保つために、スティフェル多様体上の最適化問題としてネットワークトレーニングを定め、等尺写像を学習する。 我々の理解を最大限に活用するために、連続学習における標準分類ベンチマークにおいて、経験的ベースラインよりも経験的ベースラインよりも強い結果を初めて報告する。 コードは公開されています。

関連論文リスト

• Infinite dSprites for Disentangled Continual Learning: Separating Memory Edits from Generalization [36.23065731463065]
  Infinite dSpritesは任意の長さの連続的な分類ベンチマークを作成するための擬似ツールである。 この単純なベンチマークでは、十分に長い時間をかけて、全ての主要な連続学習手法の性能が低下していることが示される。 生成因子を直接監督した簡単な設定では、学習階級に依存しない変換が破滅的な忘れを回避できる方法を示している。
  論文  参考訳（メタデータ） (2023-12-27T22:05:42Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Linear Mode Connectivity in Multitask and Continual Learning [46.98656798573886]
  マルチタスクと連続解が同様に接続されているかを検討する。 マルチタスク・ソリューションとして振る舞うために、逐次学習されたミニマを制約する効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-09T10:53:25Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。