論文の概要: Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning

• arxiv url: http://arxiv.org/abs/2411.06764v1
• Date: Mon, 11 Nov 2024 07:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:15.155269
• Title: Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning
• Title（参考訳）: 連続学習のための視覚言語モデルの多段階知識統合
• Authors: Hongsheng Zhang, Zhong Ji, Jingren Liu, Yanwei Pang, Jungong Han,
• Abstract要約: 蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
• 参考スコア（独自算出の注目度）: 79.46570165281084
• License:
• Abstract: Vision Language Models (VLMs), pre-trained on large-scale image-text datasets, enable zero-shot predictions for unseen data but may underperform on specific unseen tasks. Continual learning (CL) can help VLMs effectively adapt to new data distributions without joint training, but faces challenges of catastrophic forgetting and generalization forgetting. Although significant progress has been achieved by distillation-based methods, they exhibit two severe limitations. One is the popularly adopted single-teacher paradigm fails to impart comprehensive knowledge, The other is the existing methods inadequately leverage the multimodal information in the original training dataset, instead they rely on additional data for distillation, which increases computational and storage overhead. To mitigate both limitations, by drawing on Knowledge Integration Theory (KIT), we propose a Multi-Stage Knowledge Integration network (MulKI) to emulate the human learning process in distillation methods. MulKI achieves this through four stages, including Eliciting Ideas, Adding New Ideas, Distinguishing Ideas, and Making Connections. During the four stages, we first leverage prototypes to align across modalities, eliciting cross-modal knowledge, then adding new knowledge by constructing fine-grained intra- and inter-modality relationships with prototypes. After that, knowledge from two teacher models is adaptively distinguished and re-weighted. Finally, we connect between models from intra- and inter-task, integrating preceding and new knowledge. Our method demonstrates significant improvements in maintaining zero-shot capabilities while supporting continual learning across diverse downstream tasks, showcasing its potential in adapting VLMs to evolving data distributions.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、大規模な画像テキストデータセットで事前訓練され、目に見えないデータのゼロショット予測を可能にするが、特定の目に見えないタスクでは性能が低下する可能性がある。 連続学習(CL)は、VLMがジョイントトレーニングなしで新しいデータ分布に効果的に適応するのに役立つが、破滅的な忘れ込みと一般化の忘れ込みの課題に直面している。 蒸留法により顕著な進展が見られたが、2つの厳しい限界がみられた。 もうひとつは、元のトレーニングデータセットのマルチモーダル情報を不十分に活用する既存の方法であり、代わりに蒸留のための追加データに依存しており、計算とストレージのオーバーヘッドを増加させている。 両制約を緩和するために, 蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 4つの段階において、まずプロトタイプを活用して、モダリティを横断的に整合させ、クロスモーダルな知識を導き、次に、プロトタイプとの細粒度なイントラモダリティとインターモーダルの関係を構築して新しい知識を加える。 その後、2つの教師モデルからの知識は適応的に区別され、再重み付けされる。 最後に、タスク内およびタスク間モデル間の接続を行い、事前知識と新しい知識を統合する。 提案手法は, 多様な下流タスク間の連続学習をサポートしながら, ゼロショット能力の維持において大きな改善を示すとともに, VLMをデータ分散の進化に適応させる可能性を示す。

関連論文リスト

• ATLAS: Adapter-Based Multi-Modal Continual Learning with a Two-Stage Learning Strategy [12.150065431702055]
  本稿では,経験ベース学習と新規知識拡張からなるマルチモーダル連続学習手法を提案する。 提案手法は,従来のタスクを忘れることによる負の影響を最小限に抑えつつ,上流での表現の分布を拡大する。
  論文  参考訳（メタデータ） (2024-10-14T13:29:42Z)
• A Unified Framework for Continual Learning and Machine Unlearning [9.538733681436836]
  継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 制御された知識蒸留を活用することによって,両課題に共同で取り組む新しい枠組みを導入する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T06:49:59Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Reinforcement Learning Based Multi-modal Feature Fusion Network for Novel Class Discovery [47.28191501836041]
  本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。 また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。 我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
  論文  参考訳（メタデータ） (2023-08-26T07:55:32Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Learning without Forgetting for Vision-Language Models [65.49600786387106]
  CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。 VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。 本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:59:32Z)
• A Unified Continuous Learning Framework for Multi-modal Knowledge Discovery and Pre-training [73.7507857547549]
  本稿では,継続的学習フレームワークにおける知識発見とマルチモーダル事前学習の統合を提案する。 知識発見のために、事前訓練されたモデルを用いてグラフ上のクロスモーダルリンクを識別する。 モデル事前トレーニングでは、モデル更新をガイドする外部知識として知識グラフが使用される。
  論文  参考訳（メタデータ） (2022-06-11T16:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。