論文の概要: MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning
for Multimodal Video Captioning
- arxiv url: http://arxiv.org/abs/2402.17680v1
- Date: Tue, 27 Feb 2024 16:54:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 15:27:33.277172
- Title: MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning
for Multimodal Video Captioning
- Title（参考訳）: MCF-VC:マルチモーダルビデオキャプションのためのクラスインクリメンタル学習におけるカタストロフィック・フォーミングの軽減
- Authors: Huiyu Xiong, Lanxiao Wang, Heqian Qiu, Taijin Zhao, Benliu Qiu,
Hongliang Li
- Abstract要約: マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。
特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。
公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
- 参考スコア（独自算出の注目度）: 10.95493493610559
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To address the problem of catastrophic forgetting due to the invisibility of
old categories in sequential input, existing work based on relatively simple
categorization tasks has made some progress. In contrast, video captioning is a
more complex task in multimodal scenario, which has not been explored in the
field of incremental learning. After identifying this stability-plasticity
problem when analyzing video with sequential input, we originally propose a
method to Mitigate Catastrophic Forgetting in class-incremental learning for
multimodal Video Captioning (MCF-VC). As for effectively maintaining good
performance on old tasks at the macro level, we design Fine-grained Sensitivity
Selection (FgSS) based on the Mask of Linear's Parameters and Fisher
Sensitivity to pick useful knowledge from old tasks. Further, in order to
better constrain the knowledge characteristics of old and new tasks at the
specific feature level, we have created the Two-stage Knowledge Distillation
(TsKD), which is able to learn the new task well while weighing the old task.
Specifically, we design two distillation losses, which constrain the cross
modal semantic information of semantic attention feature map and the textual
information of the final outputs respectively, so that the inter-model and
intra-model stylized knowledge of the old class is retained while learning the
new class. In order to illustrate the ability of our model to resist
forgetting, we designed a metric CIDER_t to detect the stage forgetting rate.
Our experiments on the public dataset MSR-VTT show that the proposed method
significantly resists the forgetting of previous tasks without replaying old
samples, and performs well on the new task.
- Abstract（参考訳）: 逐次入力における古いカテゴリの視認性による破滅的忘れの問題に対処するために,比較的単純な分類タスクに基づく既存の作業が進展している。
対照的に、ビデオキャプションは、増分学習の分野では研究されていないマルチモーダルシナリオにおいて、より複雑なタスクである。
逐次入力を用いた動画解析において,この安定性・塑性問題を特定した上で,マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの緩和手法を提案する。
マクロレベルでの古いタスクの性能を効果的に維持するために,リニアパラメータのマスクとフィッシャー感度に基づいて細粒度感度選択(fgss)をデザインし,古いタスクから有用な知識を抽出した。
さらに,新しいタスクと古いタスクの知識特性を特定の特徴レベルでよりよく制約するために,新しいタスクを重み付けながら学習できる2段階の知識蒸留(tskd)を開発した。
具体的には、意味的注意特徴マップの横断的意味情報と最終出力のテキスト情報とをそれぞれ制約する2つの蒸留損失をデザインし、新しいクラスを学習しながら、旧クラスのモデル間およびモデル内スタイル化知識を保持する。
モデルが無視に抵抗する能力を示すために,ステージ忘れ率を検出する指標CIDER_tを設計した。
公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
関連論文リスト
- Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation [18.984447545932706]
破滅的な忘れ」問題は、モデルが新しいカテゴリやタスクに拡張された際に、以前に学習した特徴を忘れたときに発生する。
本稿では,データ固有のMixture of Experts構造を導入して,新しいタスクやカテゴリを扱うネットワークを提案する。
クラスレベルおよびタスクレベルの連続学習課題に対して,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-06-19T14:19:50Z) - Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-12-20T02:34:11Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Learning without Forgetting for Vision-Language Models [65.49600786387106]
CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。
VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。
本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
論文 参考訳（メタデータ） (2023-05-30T17:59:32Z) - Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。
提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-16T02:43:52Z) - Multi-Modal Few-Shot Temporal Action Detection [157.96194484236483]
Few-shot (FS) と Zero-shot (ZS) の学習は、時間的行動検出を新しいクラスに拡張するための2つの異なるアプローチである。
我々は、FS-TADとZS-TADの結婚として考えられるMMFS (Multi-modality few-shot) TAD問題を導入する。
論文 参考訳（メタデータ） (2022-11-27T18:13:05Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - Class-incremental learning: survey and performance evaluation on image
classification [38.27344435075399]
増分学習は、新しいデータの到着時にスクラッチから再トレーニングする必要をなくし、効率的なリソース使用を可能にする。
漸進的な学習の最大の課題は破滅的な忘れことであり、これは新しいタスクを学習した後、以前に学習したタスクのパフォーマンスが急落したことを指す。
近年,学習者がタスクIDを使わずに,過去のタスクで見られた全てのクラス間での推論時間において,学習者が識別しなければならないクラス増分学習へのシフトが見られた。
論文 参考訳（メタデータ） (2020-10-28T23:28:15Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳（メタデータ） (2020-06-10T15:15:27Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳（メタデータ） (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。