ComMem: Complementary Memory Systems for Test-Time Adaptation of Vision-Language Models
Abstractの概要
本論文は、脳の相補的記憶システムに着想を得た視覚言語モデルのテスト時適応手法であるComMemを提案している。本手法は、高信頼度の視覚的特徴を保持する高速適応型の詳細記憶と、テキストのプロトタイプから構築される低速統合型の抽象記憶を組み合わせている。各テストサンプルにおいて、オンラインで正規化および残差パラメータを適応させながら、クロスモーダルな一貫性を強化するためにこれら2つの記憶が同時最適化される。本論文は、自然な分布シフトとデータセット間汎化の設定の下で、15のベンチマークデータセットを用いてこの手法を評価しており、ComMemが先行する適応手法と比較してロバスト性を向上させ、実用的な効率性を維持していると報告している。
新規性
本研究の特徴は、VLMのテスト時適応のための明示的な二重記憶設計（迅速なインスタンスレベルの更新を行う海馬ライクな視覚キャッシュと、漸進的な意味的統合を行う新皮質ライクなテキスト記憶）にある。また、単一のモダリティのみを適応させるのではなく、クロスモーダルなアライメントを通じて2つの記憶を結合する、再固定化スタイルの同時最適化ステップを導入している点も新しい。
成果
ImageNetの分布シフトベンチマークにおいて、ComMemは比較手法の中で最高となる平均OOD精度を達成し、CLIP-ResNet-50で48.84%、CLIP-ViT-B/16で65.36%を記録した。10のデータセットにわたるデータセット間汎化においても、ResNet-50で64.60%、ViT-B/16で70.74%という最高の平均精度を獲得している。効率分析では、408万の学習可能パラメータを使用してImageNetで約1時間32分で64.05%の精度を達成したと報告されており、TPTやDiffTPTなどのプロンプトチューニング手法よりもはるかに高速でありながら、ゼロショットCLIPからの大きな性能向上を実現している。
論文の注目点
- 単一のモダリティへの適応に限定するのではなく、高速および低速の相補的記憶システムを通じて視覚表現とテキスト表現の両方を適応させる。
- 報告されている自然な分布シフトおよびデータセット間汎化のベンチマークにおいて、ResNet-50とViT-B/16の両方のCLIPバックボーンで一貫して最高水準の精度を達成している。
- アブレーション研究により二重記憶設計の有効性が裏付けられており、海馬ライクなキャッシュには高速な更新が、新皮質ライクなテキスト記憶には低速な更新が最適であり、キャッシュサイズが中程度の際に最大の性能が得られることが示された。