Hyperbolic Multimodal Continual Learning: A Closest-Admissible Solution
Abstractの概要
本論文では、双曲マルチモーダルモデルにおける継続学習を研究している。この設定では、逐次的な更新によってタスクスコアを維持できたとしても、モダリティ内類似度やクロスモーダルアライメント、意味的階層を符号化するローレンツ幾何学が歪んでしまう課題がある。著者らは、過去に学習したマルチモーダル幾何を保存するには全モダリティが共有された双曲等長写像に従う必要があることを示し、これにより許容される1次パラメータ更新の族を導出している。この特徴付けに基づき、著者らは最近傍許容バリアント（HMCL-CA）や最小回転バリアント（HMCL-MR）を含む双曲マルチモーダル継続学習（HMCL）を提案し、AdamW後の補正とタスクアンカリングを用いて累積ドリフトを抑制している。3種類の双曲バックボーンを用いた統合的な16タスクの分類・検索ストリームにおける実験により、性能、後方転移、表現ドリフト、階層保存性を評価している。
新規性
本研究の際立った貢献は、過去の知識の保存を全モダリティ間で共有された単一の双曲等長写像に結びつける、双曲マルチモーダル表現のための幾何学的継続学習の定式化にある。さらに、リアプノフ方程式を介して解かれる結合最近傍許容補正を導入し、同一の許容族内でのタスクアンカリングを伴うオプティマイザ整合的なAdamW後補正を分析している。
成果
3種類の双曲バックボーン全体において、両HMCLバリアントは最終的な分類、検索、後方転移で逐次ファインチューニングおよび4つの継続学習ベースラインを上回り、主要な16タスク設定ではHMCL-CAが全バックボーンで最高の総合スコアを達成した。表現の分析では、動径、偏角、クロスモーダル、ペア間距離のドリフトが81.2%から95.5%削減されたことが示され、ImageNet-WordNet評価では意味的祖先関係と動径方向の階層保存の改善が確認された。また、音声および熱画像検索タスクを含むモダリティ拡張ストリームにおいても、HMCLは対応するVanilla学習と比較して全体的な性能を向上させ、忘却を低減した。
論文の注目点
- 単にパラメータやユークリッド部分空間を保護するのではなく、全モダリティが共有等長写像を通じて以前の双曲幾何を保存することを要求することにより、許容される継続学習更新を導出している。
- HMCL-CAおよびHMCL-MRは、この理論を実行されたAdamWステップに対する補正として具現化し、学習の柔軟性を維持しつつタスク内の累積を制限するためにタスクアンカリングを使用している。
- 実証面では、最終的なタスク指標や後方転移の向上だけでなく、表現ドリフトの低減やImageNet-WordNet分析における階層構造の強力な保存によってその優位性が裏付けられている。