論文の概要: Recent Advances of Multimodal Continual Learning: A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2410.05352v2
• Date: Fri, 11 Oct 2024 03:50:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 19:07:22.297223
• Title: Recent Advances of Multimodal Continual Learning: A Comprehensive Survey
• Title（参考訳）: マルチモーダル連続学習の最近の進歩:包括的調査
• Authors: Dianzhi Yu, Xinni Zhang, Yankai Chen, Aiwei Liu, Yifei Zhang, Philip S. Yu, Irwin King,
• Abstract要約: 本研究は,マルチモーダル連続学習法に関する総合的な調査である。 既存のMMCLメソッドは,正規化ベース,アーキテクチャベース,リプレイベース,プロンプトベースという4つのカテゴリに分類される。 今後の研究・開発への道筋について論じる。
• 参考スコア（独自算出の注目度）: 64.82070119713207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) aims to empower machine learning models to learn continually from new data, while building upon previously acquired knowledge without forgetting. As machine learning models have evolved from small to large pre-trained architectures, and from supporting unimodal to multimodal data, multimodal continual learning (MMCL) methods have recently emerged. The primary challenge of MMCL is that it goes beyond a simple stacking of unimodal CL methods, as such straightforward approaches often yield unsatisfactory performance. In this work, we present the first comprehensive survey on MMCL. We provide essential background knowledge and MMCL settings, as well as a structured taxonomy of MMCL methods. We categorize existing MMCL methods into four categories, i.e., regularization-based, architecture-based, replay-based, and prompt-based methods, explaining their methodologies and highlighting their key innovations. Additionally, to prompt further research in this field, we summarize open MMCL datasets and benchmarks, and discuss several promising future directions for investigation and development. We have also created a GitHub repository for indexing relevant MMCL papers and open resources available at https://github.com/LucyDYu/Awesome-Multimodal-Continual-Learning.
• Abstract（参考訳）: 継続学習(CL)は、機械学習モデルに新しいデータから継続的に学習する権限を付与することを目的としている。 機械学習モデルは、小規模から大規模に事前訓練されたアーキテクチャへと進化し、また、非モーダルデータからマルチモーダルデータへのサポートから、近年、マルチモーダル連続学習(MMCL)手法が出現している。 MMCLの最大の課題は、単純で単調なCLメソッドの積み重ねを超えることである。 本研究はMMCLに関する総合的な調査である。 本研究は,MMCL手法の構造的分類だけでなく,基本的な背景知識とMMCL設定を提供する。 我々は,既存のMMCLメソッドを,正規化ベース,アーキテクチャベース,リプレイベース,プロンプトベースという4つのカテゴリに分類し,その方法論を説明し,重要なイノベーションを強調した。 さらに,この分野でのさらなる研究を促進するため,オープンなMMCLデータセットとベンチマークを要約し,今後の研究・開発に向けたいくつかの今後の方向性について論じる。 関連するMMCL論文やオープンリソースをインデックスするGitHubリポジトリも、https://github.com/LucyDYu/Awesome-Multimodal-Continual-Learningで公開しています。

関連論文リスト

• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Recent Advances of Foundation Language Models-based Continual Learning: A Survey [31.171203978742447]
  基礎言語モデル (LM) は自然言語処理 (NLP) とコンピュータビジョン (CV) の分野において重要な成果を上げている。 しかし、破滅的な忘れ物のため、人間のような継続的学習をエミュレートすることはできない。 従来の知識を忘れずに新しいタスクに適応できるように、様々な連続学習(CL)ベースの方法論が開発されている。
  論文  参考訳（メタデータ） (2024-05-28T23:32:46Z)
• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
  マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。 我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。 強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-01-16T08:44:29Z)
• Link-Context Learning for Multimodal LLMs [40.923816691928536]
  リンクコンテキスト学習(LCL)はMLLMの学習能力を高めるために「原因と効果からの推論」を強調する。 LCLは、アナログだけでなく、データポイント間の因果関係も識別するようモデルに導出する。 本手法の評価を容易にするため,ISEKAIデータセットを提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:33:24Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• OpenICL: An Open-Source Framework for In-context Learning [48.75452105457122]
  In-context Learning (ICL) と大規模言語モデル評価のためのオープンソースツールキット OpenICL を紹介する。 OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。 OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。
  論文  参考訳（メタデータ） (2023-03-06T06:20:25Z)
• More Diverse Means Better: Multimodal Deep Learning Meets Remote Sensing Imagery Classification [43.35966675372692]
  ディープネットワークをトレーニングし、ネットワークアーキテクチャを構築する方法を示します。 特に、深層ネットワークをトレーニングし、ネットワークアーキテクチャを構築する方法と同様に、異なる融合戦略を示す。 我々のフレームワークは画素単位の分類タスクに限らず、畳み込みニューラルネットワーク(CNN)を用いた空間情報モデリングにも適用できる。
  論文  参考訳（メタデータ） (2020-08-12T17:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。