論文の概要: Revisiting Visual Representation Enhancement of VLMs via Kernel Canonical Correlation Analysis
- arxiv url: http://arxiv.org/abs/2610.02718v1
- Date: Fri, 02 Oct 2026 02:54:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.173706
- Title: Revisiting Visual Representation Enhancement of VLMs via Kernel Canonical Correlation Analysis
- Title（参考訳）: カーネル・カノニカル相関解析によるVLMの視覚的表現向上
- Abstract要約: Kernel Canonical correlation Analysis (KCCA) による特徴部分空間の表現アライメントを特徴付ける新しい視点を提案する。
我々はKKT条件に基づいて,KCCAの固有値問題を回避する効率的なエンドツーエンドトレーニング手法を導出する。
ImageNet-1K上のCLIP ViT-L/14では、3vKCCAはMMVP-VLMの精度を17.8から25.9に改善し、既存の手法よりも大幅に向上した。
- 参考スコア（独自算出の注目度）: 46.323204562987435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models such as CLIP exhibit strong semantic generalization, but remain limited in fine-grained visual perception. A recent work named KUEA presents a natural remedy by finetuning the image encoder under the supervision of the vision-centric DINOv2 to align their kernel matrices element-wisely, while regularizing the embeddings to remain close to the pretrained visual encoder for preserving image-text semantics in CLIP. However, we show that diminishing the role of the alignment loss to DINOv2 does not necessarily degrade its fine-grained visual performance, suggesting that the kernel-matrix discrepancy may be insufficient for further visual representation enhancement, motivating us to revisit the alignment formulation. In this work, we present a novel perspective to characterize representation alignment on feature subspaces through Kernel Canonical Correlation Analysis (KCCA), which maximizes the projection correlations. In optimization, we derive an efficient end-to-end training scheme upon KKT conditions, avoiding the eigenvalue problem in KCCA. Further, we extend our method into a 3-view formulation, i.e., 3vKCCA, in which the projections from the pretrained text encoder are also incorporated under a unified optimization framework for joint alignment. With CLIP ViT-L/14 on ImageNet-1K, our 3vKCCA improves the MMVP-VLM accuracy from 17.8 to 25.9, substantially outperforming the existing methods, and meanwhile maintains zero-shot image--text retrieval performance.
- Abstract（参考訳）: CLIPのような視覚言語モデルは強力なセマンティック一般化を示すが、微粒な視覚知覚では限定的である。
KUEAという名前の最近の研究は、視覚中心のDINOv2の監督の下でイメージエンコーダを微調整し、カーネルの行列を要素的に整列させ、埋め込みをCLIPのイメージテキストセマンティクスを保存するために予め訓練されたビジュアルエンコーダに近づいたままにする、という自然な治療法を提示している。
しかし、DINOv2に対するアライメント損失の役割を低下させることは、必ずしもその微細な視覚的性能を低下させるものではないことが示され、カーネル・マトリクスの相違は、さらなる視覚的表現の増強に不十分である可能性が示唆され、アライメントの定式化を再考する動機となった。
本稿では,Kernel Canonical correlation Analysis (KCCA)を用いて,特徴部分空間の表現アライメントを特徴付ける新しい視点を提案する。
最適化では,KCCAの固有値問題を回避するため,KKT条件に基づく効率的なエンドツーエンドトレーニング手法を導出する。
さらに,本手法を3ビューの定式化,すなわち3vKCCAに拡張し,事前学習したテキストエンコーダからの投影も共同アライメントのための統一最適化フレームワークに組み込む。
画像Net-1K上のCLIP ViT-L/14では、3vKCCAはMMVP-VLMの精度を17.8から25.9に改善し、既存の手法を大幅に上回るとともに、ゼロショット画像テキスト検索性能を維持している。
関連論文リスト
- Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment [12.336161969869567]
分布正規化を伴う共同埋め込み予測に基づくNOn-contrastive Vision-Language AlignmentフレームワークであるNOVAを紹介する。
テキストエンコーダとしてCeriorBERTとMIMIC-CXRでスクラッチからトレーニングしたビジョントランスフォーマーを用いて,ゼロショット胸部X線分類におけるNOVAの評価を行った。
本研究は,非コントラスト的視覚言語事前学習が,コントラスト的手法よりもシンプルで,より安定的で,より効果的な代替手段を提供することを示す。
論文 参考訳（メタデータ） (2026-01-31T10:57:46Z) - GTMA: Dynamic Representation Optimization for OOD Vision-Language Models [10.940718051047023]
VLM(Vision-Matching Model)は、アウト・オブ・ディストリビューション(OOD)の概念がクロスモーダルアライメントの崩壊を引き起こすような、オープンワールドなアプリケーションに苦しむ。
本稿では,GTMA(Guid Target-Language Adaptation)フレームワークを通じて実現された動的表現最適化を提案する。
ImageNet-RとVISTA-Beyondベンチマークの実験では、GTMAはゼロショットと少数ショットのOOD精度を、ベースVLMよりも最大15～20%向上している。
論文 参考訳（メタデータ） (2025-12-20T20:44:07Z) - Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。
COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。
COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
論文 参考訳（メタデータ） (2025-10-28T03:47:44Z) - Improving Visual Discriminability of CLIP for Training-Free Open-Vocabulary Semantic Segmentation [20.30263242388691]
LHT-CLIPは、レイヤ、ヘッド、トークンレベルのCLIPの視覚的識別性を活用する、トレーニング不要のフレームワークである。
さまざまなシナリオにまたがって最先端のパフォーマンスを実現し、実際のデプロイメントの有効性と実用性を強調している。
論文 参考訳（メタデータ） (2025-10-27T22:05:08Z) - Kernel-based Unsupervised Embedding Alignment for Enhanced Visual Representation in Vision-language Models [18.02840698188587]
本稿では,CLIPの視覚表現とDINOv2の表現を一致させるカーネルベースの新しい手法を提案する。
画像のみのアライメント微調整は、ゼロショット物体認識、きめ細かい空間的推論において著しく改善されている。
論文 参考訳（メタデータ） (2025-06-03T07:44:43Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳（メタデータ） (2025-03-11T17:59:41Z) - Collaborative Vision-Text Representation Optimizing for Open-Vocabulary Segmentation [82.95830628372845]
本稿では,Open-Vocabulary encoder(OVS)分野における協調視覚テキスト最適化機構を提案する。
我々の知る限り、私たちはOVSフィールド内で協調的な視覚テキスト最適化メカニズムを最初に確立しました。
オープン語彙のセマンティックセグメンテーションでは、この手法は、+0.5, +2.3, +3.4, +0.4, +1.1 mIoU の従来の最先端アプローチよりも優れている。
論文 参考訳（メタデータ） (2024-08-01T17:48:08Z) - CLIP Brings Better Features to Visual Aesthetics Learners [14.351572852317558]
Image Aesthetics Assessment (IAA) は主観的性格と高価な手作業による課題である。
Contrastive Language-Image Pre-Training (CLIP) のような近年の大規模視覚言語モデルでは、様々な下流タスクに期待できる表現能力を示している。
本稿では,CLIPの強力な一般化能力を活用しつつ,軽量なIAAモデルを学習することを目的とした,2相CLIPに基づく半教師付き知識蒸留パラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-28T16:00:21Z) - Visual Alignment Constraint for Continuous Sign Language Recognition [74.26707067455837]
ビジョンベースの継続的署名言語認識は、画像シーケンスから未分割ジェスチャーを認識することを目的とする。
本研究は,最近のCTCに基づくCSLRにおける過剰適合問題を再考し,特徴抽出器の訓練不足によるものである。
視覚アライメント制約(vac)により、よりアライメントの監督により特徴抽出器を強化する。
論文 参考訳（メタデータ） (2021-04-06T07:24:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。