論文の概要: Continual Learning: Forget-free Winning Subnetworks for Video Representations

• arxiv url: http://arxiv.org/abs/2312.11973v1
• Date: Tue, 19 Dec 2023 09:11:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 16:12:04.449374
• Title: Continual Learning: Forget-free Winning Subnetworks for Video Representations
• Title（参考訳）: 連続学習:ビデオ表現のための「忘れない勝利」サブネットワーク
• Authors: Haeyong Kang, Jaehong Yoon, Sung Ju Hwang, and Chang D. Yoo
• Abstract要約: 我々は、高密度ネットワークにおける再利用重みを利用して学習を向上させるWinning Subnetworks (WSN)を紹介した。 FSCIL(Few-Shot Class Incremental Learning)におけるオーバーフィッティングを軽減するため,SoftNet(SoftNet)と呼ばれるWSN変種を開発した。 本稿では,フーリエ空間で動作するフーリエサブニューラル演算子 (FSO) を提案する。
• 参考スコア（独自算出の注目度）: 75.40220771931132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the Regularized Lottery Ticket Hypothesis (RLTH), which highlights the presence of competitive subnetworks within dense networks for continual learning tasks, we introduce Winning Subnetworks (WSN). This approach utilizes reused weights in dense networks to enhance learning in Task Incremental Learning (TIL) scenarios. To mitigate overfitting in Few-Shot Class Incremental Learning (FSCIL), we have developed WSN variants referred to as the Soft subnetwork (SoftNet). Furthermore, addressing WSN's limitation of sparse reused weights in Video Incremental Learning (VIL), we propose the Fourier Subneural Operator (FSO). The FSO, operating in Fourier space, adaptively and compactly encodes videos, discovering reusable subnetworks with diverse bandwidths. We have applied FSO's Fourier representations to various continual learning contexts, including VIL, TIL, and FSCIL. Our extensive experiments across these scenarios demonstrate FSO's remarkable efficacy in continual learning, significantly enhancing task performance at various convolutional representational levels: it boosts performance in the higher layers for TIL and FSCIL and the lower layers for VIL.
• Abstract（参考訳）: RLTH(Regularized Lottery Ticket hypothesis)に触発されて、連続学習タスクのための高密度ネットワーク内での競合サブネットの存在を強調した上で、Winning Subnetworks(WSN)を紹介した。 このアプローチは、高密度ネットワークにおける再利用重みを利用して、タスクインクリメンタルラーニング(TIL)のシナリオにおける学習を強化する。 本稿では,Few-Shot Class Incremental Learning (FSCIL)におけるオーバーフィッティングを軽減するために,SoftNetと呼ばれるWSNの派生版を開発した。 さらに,ビデオインクリメンタルラーニング(VIL)におけるWSNの疎再利用重量制限に対処し,フーリエサブニューラル演算子(FSO)を提案する。 フーリエ空間で動作するFSOは、動画を適応的かつコンパクトにエンコードし、様々な帯域幅を持つ再利用可能なサブネットワークを発見する。 我々は,FSOのフーリエ表現を,VIL,TIL,FSCILなどの連続学習コンテキストに適用した。 これらのシナリオにわたる広範な実験は、FSOが連続学習において顕著な有効性を示し、様々な畳み込み表現レベルでタスク性能を著しく向上させ、TILとFSCILの上位層とVILの下位層のパフォーマンスを向上させる。

関連論文リスト

• Soft-TransFormers for Continual Learning [27.95463327680678]
  ソフトトランスフォーマー(Soft-TF)と呼ばれる完全微調整連続学習(CL)手法を提案する。 ソフトTFは、各タスクに対して最適なソフトネットワークやサブネットワークを逐次学習し、選択する。 推定において、Soft-TFのタスク適応型ネットワークは、事前学習されたネットワークのパラメータをマスクする。
  論文  参考訳（メタデータ） (2024-11-25T03:52:47Z)
• Artificial-Spiking Hierarchical Networks for Vision-Language Representation Learning [16.902924543372713]
  最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。 本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。 実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-18T10:40:25Z)
• Forget-free Continual Learning with Soft-Winning SubNetworks [67.0373924836107]
  本稿では,各タスクに対して適応バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習し,選択する2つの連続学習手法について検討する。 WSNとSoftNetは、各タスクに関連する作業の正規化モデルウェイトとタスク適応非バイナリマスクを共同で学習する。 タスクインクリメンタルラーニング(TIL)では、当選チケット毎に生成されるバイナリマスクを1つのNビットのバイナリディジットマスクにエンコードし、ハフマン符号化を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。
  論文  参考訳（メタデータ） (2023-03-27T07:53:23Z)
• On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
  本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。 私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。 我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
  論文  参考訳（メタデータ） (2022-09-15T04:54:02Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
  連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。 本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
  論文  参考訳（メタデータ） (2020-07-24T08:16:37Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。