論文の概要: Continual Learning: Forget-free Winning Subnetworks for Video Representations

• arxiv url: http://arxiv.org/abs/2312.11973v4
• Date: Mon, 3 Jun 2024 03:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 19:52:07.794497
• Title: Continual Learning: Forget-free Winning Subnetworks for Video Representations
• Title（参考訳）: 連続学習:映像表現のためのターゲットフリーウィンニングサブネット
• Authors: Haeyong Kang, Jaehong Yoon, Sung Ju Hwang, Chang D. Yoo,
• Abstract要約: タスク性能の面でのサブネットワーク(WSN)の勝利は、様々な連続学習タスクに対して考慮される。 タスクインクリメンタルラーニング(TIL)とタスク非依存インクリメンタルラーニング(TaIL)のシナリオにおいて,既存のネットワークからの重み付けを活用して,効率的な学習を実現する。 ビデオインクリメンタルラーニング(VIL)におけるWSN内のフーリエサブニューラル演算子(FSO)の利用
• 参考スコア（独自算出の注目度）: 75.40220771931132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the Lottery Ticket Hypothesis (LTH), which highlights the existence of efficient subnetworks within larger, dense networks, a high-performing Winning Subnetwork (WSN) in terms of task performance under appropriate sparsity conditions is considered for various continual learning tasks. It leverages pre-existing weights from dense networks to achieve efficient learning in Task Incremental Learning (TIL) and Task-agnostic Incremental Learning (TaIL) scenarios. In Few-Shot Class Incremental Learning (FSCIL), a variation of WSN referred to as the Soft subnetwork (SoftNet) is designed to prevent overfitting when the data samples are scarce. Furthermore, the sparse reuse of WSN weights is considered for Video Incremental Learning (VIL). The use of Fourier Subneural Operator (FSO) within WSN is considered. It enables compact encoding of videos and identifies reusable subnetworks across varying bandwidths. We have integrated FSO into different architectural frameworks for continual learning, including VIL, TIL, and FSCIL. Our comprehensive experiments demonstrate FSO's effectiveness, significantly improving task performance at various convolutional representational levels. Specifically, FSO enhances higher-layer performance in TIL and FSCIL and lower-layer performance in VIL.
• Abstract（参考訳）: LTH(Lottery Ticket hypothesis)に触発されて、大規模で高密度なネットワークにおける効率的なサブネットワークの存在を強調し、様々な連続的な学習タスクにおいて、適切な空間条件下でのタスク性能において高いパフォーマンスのWinning Subnetwork(WSN)が検討される。 タスクインクリメンタルラーニング(TIL)とタスク非依存インクリメンタルラーニング(TaIL)のシナリオにおいて,既存のネットワークからの重み付けを活用して,効率的な学習を実現する。 FSCIL(Few-Shot Class Incremental Learning)では、データサンプル不足時の過度な適合を防止するために、SoftNet(SoftNet)と呼ばれるWSNのバリエーションが設計されている。 さらに,ビデオインクリメンタルラーニング(VIL)では,WSN重みの疎再利用が検討されている。 WSNにおけるフーリエサブニューラル演算子(FSO)の使用について考察する。 ビデオのコンパクトエンコーディングを可能にし、様々な帯域で再利用可能なサブネットを識別する。 我々は、VIL、TIL、FSCILを含む継続学習のための異なるアーキテクチャフレームワークにFSOを統合した。 我々はFSOの有効性を総合的に検証し,様々な畳み込み表現レベルでのタスク性能を著しく向上させた。 特に、FSOは、TILおよびFSCILの高層性能とVILの低層性能を向上させる。

関連論文リスト

• Soft-TransFormers for Continual Learning [27.95463327680678]
  ソフトトランスフォーマー(Soft-TF)と呼ばれる完全微調整連続学習(CL)手法を提案する。 ソフトTFは、各タスクに対して最適なソフトネットワークやサブネットワークを逐次学習し、選択する。 推定において、Soft-TFのタスク適応型ネットワークは、事前学習されたネットワークのパラメータをマスクする。
  論文  参考訳（メタデータ） (2024-11-25T03:52:47Z)
• Artificial-Spiking Hierarchical Networks for Vision-Language Representation Learning [16.902924543372713]
  最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。 本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。 実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-18T10:40:25Z)
• Forget-free Continual Learning with Soft-Winning SubNetworks [67.0373924836107]
  本稿では,各タスクに対して適応バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習し,選択する2つの連続学習手法について検討する。 WSNとSoftNetは、各タスクに関連する作業の正規化モデルウェイトとタスク適応非バイナリマスクを共同で学習する。 タスクインクリメンタルラーニング(TIL)では、当選チケット毎に生成されるバイナリマスクを1つのNビットのバイナリディジットマスクにエンコードし、ハフマン符号化を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。
  論文  参考訳（メタデータ） (2023-03-27T07:53:23Z)
• On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
  本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。 私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。 我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
  論文  参考訳（メタデータ） (2022-09-15T04:54:02Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
  連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。 本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
  論文  参考訳（メタデータ） (2020-07-24T08:16:37Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。