論文の概要: Continual Learning: Forget-free Winning Subnetworks for Video Representations

• arxiv url: http://arxiv.org/abs/2312.11973v3
• Date: Sat, 6 Jan 2024 05:08:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 11:25:35.146073
• Title: Continual Learning: Forget-free Winning Subnetworks for Video Representations
• Title（参考訳）: 連続学習:ビデオ表現のための「忘れない勝利」サブネットワーク
• Authors: Haeyong Kang, Jaehong Yoon, Sung Ju Hwang, and Chang D. Yoo
• Abstract要約: タスク性能の面でのサブネットワーク(WSN)の勝利は、様々な連続学習タスクに対して考慮される。 タスクインクリメンタルラーニング(TIL)のシナリオにおいて,既存のネットワークからの重みを有効活用し,効率的な学習を実現する。 ビデオインクリメンタルラーニング(VIL)におけるWSN内のフーリエサブニューラル演算子(FSO)の利用
• 参考スコア（独自算出の注目度）: 75.40220771931132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the Lottery Ticket Hypothesis (LTH), which highlights the existence of efficient subnetworks within larger, dense networks, a high-performing Winning Subnetwork (WSN) in terms of task performance under appropriate sparsity conditions is considered for various continual learning tasks. It leverages pre-existing weights from dense networks to achieve efficient learning in Task Incremental Learning (TIL) scenarios. In Few-Shot Class Incremental Learning (FSCIL), a variation of WSN referred to as the Soft subnetwork (SoftNet) is designed to prevent overfitting when the data samples are scarce. Furthermore, the sparse reuse of WSN weights is considered for Video Incremental Learning (VIL). The use of Fourier Subneural Operator (FSO) within WSN is considered. It enables compact encoding of videos and identifies reusable subnetworks across varying bandwidths. We have integrated FSO into different architectural frameworks for continual learning, including VIL, TIL, and FSCIL. Our comprehensive experiments demonstrate FSO's effectiveness, significantly improving task performance at various convolutional representational levels. Specifically, FSO enhances higher-layer performance in TIL and FSCIL and lower-layer performance in VIL
• Abstract（参考訳）: 大規模で密集したネットワーク内で効率的なサブネットワークが存在することを強調する宝くじチケット仮説(lth)に触発され、様々な連続学習タスクにおいて、適切なスパーシティ条件下でのタスクパフォーマンスの観点から高いパフォーマンスの勝利サブネットワーク(wsn)が考慮される。 タスクインクリメンタルラーニング(TIL)のシナリオにおいて、既存のネットワークからの重みを利用して効率的な学習を実現する。 FSCIL(Few-Shot Class Incremental Learning)では、データサンプル不足時の過度な適合を防止するために、SoftNet(SoftNet)と呼ばれるWSNのバリエーションが設計されている。 さらに,ビデオインクリメンタルラーニング(VIL)では,WSN重みの疎再利用が検討されている。 WSNにおけるフーリエサブニューラル演算子(FSO)の使用について考察する。 ビデオのコンパクトエンコーディングを可能にし、様々な帯域で再利用可能なサブネットを識別する。 我々は、VIL、TIL、FSCILを含む継続学習のための異なるアーキテクチャフレームワークにFSOを統合した。 FSOの有効性を総合的に検証し,様々な畳み込み表現レベルでのタスク性能を著しく向上させた。 具体的には、FSOはTILおよびFSCILの高層性能とVILの低層性能を向上させる

関連論文リスト

• Soft-TransFormers for Continual Learning [27.95463327680678]
  ソフトトランスフォーマー(Soft-TF)と呼ばれる完全微調整連続学習(CL)手法を提案する。 ソフトTFは、各タスクに対して最適なソフトネットワークやサブネットワークを逐次学習し、選択する。 推定において、Soft-TFのタスク適応型ネットワークは、事前学習されたネットワークのパラメータをマスクする。
  論文  参考訳（メタデータ） (2024-11-25T03:52:47Z)
• Artificial-Spiking Hierarchical Networks for Vision-Language Representation Learning [16.902924543372713]
  最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。 本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。 実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-18T10:40:25Z)
• Forget-free Continual Learning with Soft-Winning SubNetworks [67.0373924836107]
  本稿では,各タスクに対して適応バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習し,選択する2つの連続学習手法について検討する。 WSNとSoftNetは、各タスクに関連する作業の正規化モデルウェイトとタスク適応非バイナリマスクを共同で学習する。 タスクインクリメンタルラーニング(TIL)では、当選チケット毎に生成されるバイナリマスクを1つのNビットのバイナリディジットマスクにエンコードし、ハフマン符号化を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。
  論文  参考訳（メタデータ） (2023-03-27T07:53:23Z)
• On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
  本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。 私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。 我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
  論文  参考訳（メタデータ） (2022-09-15T04:54:02Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
  連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。 本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
  論文  参考訳（メタデータ） (2020-07-24T08:16:37Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。