論文の概要: CoSCL: Cooperation of Small Continual Learners is Stronger than a Big One

• arxiv url: http://arxiv.org/abs/2207.06543v1
• Date: Wed, 13 Jul 2022 23:00:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 12:30:46.896574
• Title: CoSCL: Cooperation of Small Continual Learners is Stronger than a Big One
• Title（参考訳）: CoSCL:小さな継続的な学習者の協力は大きなものよりも強い
• Authors: Liyuan Wang, Xingxing Zhang, Qian Li, Jun Zhu, Yi Zhong
• Abstract要約: 連続学習における可塑性学習の一般化誤差と記憶安定性を解析する。 複数の並列部分で逐次体験を処理できる頑健な生物学的学習システムに着想を得て,小連続学習者の連携を提案する。 CoSCLは、様々な連続学習アプローチを大きなマージンで改善することができる。
• 参考スコア（独自算出の注目度）: 40.32426713582231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning requires incremental compatibility with a sequence of tasks. However, the design of model architecture remains an open question: In general, learning all tasks with a shared set of parameters suffers from severe interference between tasks; while learning each task with a dedicated parameter subspace is limited by scalability. In this work, we theoretically analyze the generalization errors for learning plasticity and memory stability in continual learning, which can be uniformly upper-bounded by (1) discrepancy between task distributions, (2) flatness of loss landscape and (3) cover of parameter space. Then, inspired by the robust biological learning system that processes sequential experiences with multiple parallel compartments, we propose Cooperation of Small Continual Learners (CoSCL) as a general strategy for continual learning. Specifically, we present an architecture with a fixed number of narrower sub-networks to learn all incremental tasks in parallel, which can naturally reduce the two errors through improving the three components of the upper bound. To strengthen this advantage, we encourage to cooperate these sub-networks by penalizing the difference of predictions made by their feature representations. With a fixed parameter budget, CoSCL can improve a variety of representative continual learning approaches by a large margin (e.g., up to 10.64% on CIFAR-100-SC, 9.33% on CIFAR-100-RS, 11.45% on CUB-200-2011 and 6.72% on Tiny-ImageNet) and achieve the new state-of-the-art performance.
• Abstract（参考訳）: 継続的な学習には、一連のタスクとのインクリメンタルな互換性が必要です。 一般に、共有されたパラメータセットですべてのタスクを学習することは、タスク間の深刻な干渉に悩まされる。 本研究では,(1)タスク分布の相違,(2)損失景観の平坦性,(3)パラメータ空間の被覆によって一様上界化できる連続学習における可塑性と記憶安定性の学習における一般化誤差を理論的に解析する。 そこで我々は, 連続学習の一般的な戦略として, 連続的な経験を複数の並列部分で処理する頑健な生物学的学習システム(CoSCL)を提案する。 具体的には,各タスクを並列に学習するために,より狭いサブネットワークを固定したアーキテクチャを提案し,上界の3つのコンポーネントを改善することで,2つのエラーを自然に低減することができる。 この優位性を高めるため、これらのサブネットワークは、特徴表現による予測の違いを罰することにより協力することを奨励する。 一定のパラメータ予算で、cosclは様々な代表的な連続学習アプローチ(例えば、cifar-100-scでは10.64%、cifar-100-rsでは9.33%、cub-200-2011では11.45%、tiny-imagenetでは6.72%)を大きなマージンで改善し、新しい最先端のパフォーマンスを達成することができる。

関連論文リスト

• Replacement Learning: Training Vision Tasks with Fewer Learnable Parameters [4.2114456503277315]
  置換学習は、冷凍層の全パラメータを2つの学習可能なパラメータで置き換える。 CIFAR-10, STL-10, SVHN, ImageNetの4つのベンチマークデータセットを対象に実験を行った。 提案手法は,エンドツーエンドトレーニングの性能を完全に超えながら,パラメータ数,トレーニング時間,メモリ使用量を削減する。
  論文  参考訳（メタデータ） (2024-10-02T05:03:54Z)
• InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning [17.66308231838553]
  推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。 学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
  論文  参考訳（メタデータ） (2024-02-26T18:59:52Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。