論文の概要: Visual Branch is What You Need for CLIP-based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2609.37888v2
• Date: Wed, 30 Sep 2026 05:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.331285
• Title: Visual Branch is What You Need for CLIP-based Class-Incremental Learning
• Title（参考訳）: CLIPベースのクラスインクリメンタルラーニングに必要なVisual Branch
• Abstract要約: CIL(Class-Incremental Learning)は、学習済みのクラスを忘れずに、時間とともに新しいクラスを認識するモデルを必要とする。 ビジョンシェルフ事前トレーニングの台頭により、CLIPはCILの強力な基盤となっている。 本稿では,CLIPベースのCILのための視覚のみの手法であるVISを提案する。
• 参考スコア（独自算出の注目度）: 64.85778530650481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class-Incremental Learning (CIL) requires models to recognize new classes over time without forgetting previously learned ones. With the rise of vision-language pre-training, CLIP has become a strong foundation for CIL. A common design in CLIP-based CIL is to construct textual classifier weights by encoding class-name templates with the CLIP text encoder, and then classify visual features by image-text cosine similarity. This design is appealing: since CLIP aligns images and text in a shared embedding space, textual weights appear to provide an off-the-shelf classifier for incremental classes. However, we show that this seemingly natural design is not always beneficial, as a modality gap can still separate the two modalities and make textual classifier weights deviate from visual class distributions. Empirically, under identical task-wise CIL training, initializing the cosine classifier with visual class centers yields lower loss and better incremental accuracy than using CLIP textual features. Motivated by these observations, we propose VIS, a visual-only method for CLIP-based CIL that removes the deployed textual branch and constructs the incremental classifier entirely in the visual space. To obtain stronger task-adaptive visual representations, VIS uses only base-session data to enhance CLIP's final visual representation with informative visual-layer features. Built on the enhanced visual representation, VIS employs a simple kernelized incremental least-squares SVM, whose classifier weights are solved in closed form from additive sufficient statistics. When new classes arrive, VIS accumulates their sufficient statistics and recomputes the classifier weights for all seen classes, enabling efficient incremental updates while preserving historical class knowledge. Extensive experiments show that VIS achieves state-of-the-art performance without a textual branch.
• Abstract（参考訳）: CIL(Class-Incremental Learning)は、学習済みのクラスを忘れずに、時間とともに新しいクラスを認識するモデルを必要とする。 ビジョン言語による事前トレーニングの台頭により、CLIPはCILの強力な基盤となっている。 CLIPベースのCILの一般的な設計は、クラス名テンプレートをCLIPテキストエンコーダで符号化し、画像テキストのコサイン類似性によって視覚的特徴を分類することで、テキスト分類器の重みを構築することである。 CLIPは画像とテキストを共有埋め込みスペースで整列するので、テキストの重み付けはインクリメンタルクラスのための既製の分類器を提供するように見える。 しかし、この一見自然なデザインは必ずしも有用ではなく、モダリティギャップが2つのモダリティを分離し、テキスト分類器の重み付けを視覚的クラス分布から逸脱させる可能性がある。 経験的には、同じタスクワイドのCILトレーニングの下で、視覚的なクラスセンターでコサイン分類器を初期化すると、CLIPテキスト機能よりも損失が小さく、漸進的な精度が向上する。 そこで本研究では,CLIPベースのCILのための視覚のみの手法であるVISを提案する。 より強力なタスク適応型視覚表現を得るために、VISはベースセッションデータのみを使用してCLIPの最終視覚表現を情報的視覚層機能で強化する。 拡張された視覚表現に基づいて構築されたVISは、単純なカーネル化されたインクリメンタルな最小二乗SVMを用いており、その分類器の重みは加法的十分統計量から閉じた形で解かれる。 新しいクラスが到着すると、VISは十分な統計情報を蓄積し、すべてのクラスに対する分類器の重み付けを再計算し、過去のクラス知識を維持しながら効率的なインクリメンタルな更新を可能にする。 大規模な実験により、VISはテキスト分岐なしで最先端のパフォーマンスを達成することが示された。

関連論文リスト

• Unlocking Patch-Level Features for CLIP-Based Class-Incremental Learning [13.950318836859731]
  CLIのためのSPA(Semantic-Guided Patch-level Alignment)を提案する。 各クラスに対して、まず代表的で多様な視覚サンプルを作成し、それらをGPT-5に供給する。 これらの記述は、識別的パッチレベルの視覚的特徴の選択を導くために使用される。
  論文  参考訳（メタデータ） (2026-05-13T17:56:23Z)
• LiteEmbed: Adapting CLIP to Rare Classes [20.898059440239603]
  LiteEmbedはCLIPのパーソナライズのための軽量フレームワークである。 LiteEmbedは、CLIPの語彙内のテキスト埋め込みのサブスペース誘導最適化を実行する。 分類、検索、セグメンテーション、検出タスクにまたがるCLIPのオリジナルテキスト機能をシームレスに置き換える。
  論文  参考訳（メタデータ） (2026-01-14T17:53:11Z)
• SuperCLIP: CLIP with Simple Classification Supervision [88.86549733903314]
  Contrastive Language-Image Pretrainingは、画像とテキストを共有埋め込み空間に整列させることにより、視覚言語タスクの強力な一般化を実現する。 近年,CLIP様モデルでは,テキスト中の微細なセマンティック信号が依然として使われていないことが報告されている。 分類に基づく教師付きコントラスト学習のフレームワークであるSuperCLIPを提案する。
  論文  参考訳（メタデータ） (2025-12-16T15:11:53Z)
• Hierarchical Representation Matching for CLIP-based Class-Incremental Learning [80.2317078787969]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、進化するデータストリームに継続的に適応可能なモデルを提供することを目的とする。 事前訓練された視覚言語モデル(例えばCLIP)の最近の進歩は、このタスクの強力な基盤を提供する。 本稿では,CLIPベースのCILのためのHiErarchical Representation MAtchiNg(HERMAN)を紹介する。
  論文  参考訳（メタデータ） (2025-09-26T17:59:51Z)
• GET: Unlocking the Multi-modal Potential of CLIP for Generalized Category Discovery [50.564146730579424]
  テキスト埋め込み合成器(TES)を提案する。 提案手法は,CLIPのマルチモーダルポテンシャルを解放し,すべてのGCDベンチマークにおいて,ベースライン手法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2024-03-15T02:40:13Z)
• AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning [53.32576252950481]
  連続学習は、モデルが逐次到着したデータから段階的に知識を学習できるようにすることを目的としている。 本稿では,新しいクラスやタスクの知識を段階的に抽出する,AttriCLIPという非インクリメンタル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T07:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。