論文の概要: Generalizing Multimodal Foundational Models in Context-Driven Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2610.27298v1
• Date: Mon, 19 Oct 2026 21:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.516004
• Title: Generalizing Multimodal Foundational Models in Context-Driven Class Incremental Learning
• Title（参考訳）: 文脈駆動型授業インクリメンタルラーニングにおけるマルチモーダル基礎モデルの一般化
• Abstract要約: 凍結したFMを音声視覚CILに一般化するフレームワークを提案する。 具体的には、その高密度な音声および視覚表現を活用し、注意に基づく文脈誘導モジュールを用いる。 タスク間における壊滅的な忘れの軽減と安定性維持のために,我々は特徴量およびロジトレベルの蒸留を採用している。
• 参考スコア（独自算出の注目度）: 4.343142335068843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class-Incremental Learning (CIL) aims to learn new classes continuously without forgetting the previously learned ones. Recent works in CIL have significantly advanced across various modalities; however, at the intersection of audio-visual modality, this problem remains underexplored. While representations from multimodal foundational models (MFMs) encapsulate rich static priors, our preliminary analysis shows that these representations struggle in incremental settings. Motivated by this, we propose a framework that generalizes frozen MFMs to audio-visual CIL. Specifically, we leverage their dense audio and visual representations and employ an attention-based contextual guidance module, in which the audio representations serve as task-stable contextual guidance for the visual representations, enabling effective class recognition in the incremental setting. To further mitigate catastrophic forgetting and preserve stability across tasks, we employ feature- and logit-level distillation, which are primarily responsible for the reduced forgetting. Extensive evaluations across various audio-visual CIL benchmarks demonstrate that our approach consistently outperforms state-of-the-art methods. Code is available at https://github.com/avigupta2798/MFM-CIL.
• Abstract（参考訳）: CIL(Class-Incremental Learning)は、学習したクラスを忘れずに、新しいクラスを継続的に学習することを目的としている。 CILにおける最近の研究は、様々なモーダルで大きく進歩しているが、音声と視覚のモダリティの交差において、この問題は未解決のままである。 MFM(Multimodal foundational model)からの表現は、リッチな静的事前をカプセル化するが、予備的な分析により、これらの表現は漸進的な設定に苦しむことが示された。 そこで我々は,凍結したMFMを音声視覚CILに一般化するフレームワークを提案する。 具体的には、その高密度な音声と視覚的表現を活用し、注意に基づくコンテキスト誘導モジュールを用いて、視覚的表現のタスクスタブルなコンテキストガイダンスとして機能し、インクリメンタルな設定で効果的なクラス認識を可能にする。 タスク間における壊滅的な忘れの軽減と安定性の維持のために,主に忘れの低減に寄与する特徴量およびロジトレベルの蒸留を採用する。 様々なオーディオ・視覚的CILベンチマークによる広範囲な評価は、我々のアプローチが常に最先端の手法より優れていることを示している。 コードはhttps://github.com/avigupta2798/MFM-CILで入手できる。

関連論文リスト

• Listen, Look, and Learn: Learning Without Forgetting through SAM-Audio [4.343142335068843]
  クラスインクリメンタルラーニングは、獲得した知識を忘れずに、新しいクラスを継続的に学習することを目的としている。 近年のCILの進歩は様々なモダリティに対して大きな関心を喚起しているが、音声と視覚のセッティングは未解明のままである。 この作業はSAM-Audioのオーディオ-視覚的事前設定をCIL設定に統合することでギャップを埋める。
  論文  参考訳（メタデータ） (2026-06-09T14:01:49Z)
• Conformal Cross-Modal Active Learning [16.42479423972555]
  Active Learningは、ラベル付けのための最も有益なサンプルを戦略的に選択することで、アノテーションコストを最小限にすることを目的としている。 本稿では,教師-学生アーキテクチャを通じて視覚と言語モダリティを橋渡しする新しいALフレームワークであるConformal Cross-Modal Acquisition (CCMA)を紹介する。
  論文  参考訳（メタデータ） (2026-03-24T12:59:47Z)
• FANoise: Singular Value-Adaptive Noise Modulation for Robust Multimodal Representation Learning [24.94576263410761]
  本研究では,表現学習における雑音勾配の役割について検討した。 本稿では,新しい特徴適応型ノイズ注入方式であるFANoiseを提案する。 このフレームワークでは、FANoiseがマルチモーダルタスクの全体的なパフォーマンスを継続的に改善することを示した。
  論文  参考訳（メタデータ） (2025-11-26T02:50:29Z)
• Vision Large Language Models Are Good Noise Handlers in Engagement Analysis [54.397912827957164]
  本稿では,VLM(Vision Large Language Models)を利用したアノテーションの洗練とトレーニングプロセスの指導を行うフレームワークを提案する。 本フレームワークでは,行動手がかりを抽出し,データを高信頼性サブセットと低信頼性サブセットに分割する。 改良された高信頼性サブセットで訓練された古典型コンピュータビジョンモデルは,カリキュラム戦略により強化され,改善されたことを示す。
  論文  参考訳（メタデータ） (2025-11-18T18:50:26Z)
• Taming Modality Entanglement in Continual Audio-Visual Segmentation [30.143320890304366]
  本稿では,音声によって案内される新しいクラスを連続的にセグメント化することを目的とした,新しいCAVSタスクを提案する。 1)マルチモーダルなセマンティックドリフトと2)共起混同の2つの重要な課題が同定された。 Collisionベースのマルチモーダルリハーサルフレームワークは、これらの課題に対処するために設計されている。
  論文  参考訳（メタデータ） (2025-10-20T07:23:36Z)
• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• Meta-Exploiting Frequency Prior for Cross-Domain Few-Shot Learning [86.99944014645322]
  クロスドメインなFew-Shot学習のための新しいフレームワーク,Meta-Exploiting Frequency Priorを導入する。 各クエリ画像を高周波および低周波成分に分解し,特徴埋め込みネットワークに並列に組み込む。 本フレームワークは、複数のドメイン間数ショット学習ベンチマークにおいて、最先端の新たな結果を確立する。
  論文  参考訳（メタデータ） (2024-11-03T04:02:35Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning [25.743503223389784]
  我々は、MSRLと呼ばれる強化学習(RL)ベースのフレームワークを提案する。 タスク固有のメトリクスに直接関連する報酬関数をカスタマイズする。 LRS3データセットによる実験結果から,提案手法は清浄な騒音条件と各種雑音条件の両方で最先端の手法を実現することが示された。
  論文  参考訳（メタデータ） (2022-12-10T14:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。