論文の概要: Kernel-Based Steering of CLIP with Vision-Language Model Preferences

• arxiv url: http://arxiv.org/abs/2609.32203v1
• Date: Sat, 26 Sep 2026 03:58:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:58:51.160365
• Title: Kernel-Based Steering of CLIP with Vision-Language Model Preferences
• Title（参考訳）: ビジョンランゲージモデルを用いたCLIPのカーネルベースステアリング
• Abstract要約: 大きな視覚言語モデル(VLM)は視覚的類似性を判断できるが、その判断は効率的な比較のためにコンパクトな画像埋め込みとして直接利用することはできない。 本稿では,教師の埋め込みを使わずにペアの判断から学習するカーネルベースのステアリング手法であるASKを紹介する。 適応後、検索はVLMコールなしでCLIPイメージの埋め込みとコサイン類似性を使用する。
• 参考スコア（独自算出の注目度）: 23.632553253302444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (VLMs) can judge visual similarity, but their judgments are not directly available as compact image embeddings for efficient comparison. We study how to transfer these preferences into CLIP while retaining its image--text capabilities. We introduce ASK, a kernel-based steering method that learns from elicited pairwise judgments without accessing teacher embeddings or collecting new human similarity annotations. ASK constructs positive semidefinite target kernels within small image groups and combines visual kernel matching with an image--text distributional anchor. Low-rank adapters jointly update the visual and text encoders while regularizing predictions toward frozen CLIP. After adaptation, retrieval uses CLIP image embeddings and cosine similarity, with no VLM calls. Experiments across five image domains, four CLIP backbones, and six judges evaluate teacher agreement, retrieval, and recognition retention. For ViT-B/16, mean retrieval mAP on classes excluded from adaptation increases from 53.8 to 75.0, compared with 71.7 for DINOv2 targets with KL anchoring. Mean zero-shot accuracy with jointly adapted encoders increases from 61.8\% to 62.4\%, averaged over 12 benchmarks and the five adaptation domains. Prompting provides an additional capability: selecting which visual distinctions the student learns. Human-annotated evaluations across four datasets support this criterion-specific control.
• Abstract（参考訳）: 大きな視覚言語モデル(VLM)は視覚的類似性を判断できるが、その判断は効率的な比較のためにコンパクトな画像埋め込みとして直接利用することはできない。 画像テキスト機能を維持しながら、これらの嗜好をCLIPに転送する方法について検討する。 本稿では,教師の埋め込みや新しい人間類似アノテーションの収集を必要とせず,一対の判断から学習するカーネルベースのステアリング手法であるASKを紹介する。 ASKは、小さな画像グループ内で正の半定値ターゲットカーネルを構築し、画像-テキスト分散アンカーとビジュアルカーネルマッチングを組み合わせる。 低ランクアダプタは、凍結したCLIPへの予測を規則化しながら、ビジュアルエンコーダとテキストエンコーダを共同で更新する。 適応後、検索はVLMコールなしでCLIPイメージの埋め込みとコサイン類似性を使用する。 5つの画像領域、CLIPバックボーン4つ、および6人の審査員が、教師の同意、検索、認識保持を評価した。 ViT-B/16では、適応から除外されたクラスの平均検索mAPは53.8から75.0に増加し、DINOv2ターゲットの71.7はKLアンカーである。 共同適応エンコーダを用いたゼロショット精度は61.8\%から62.4\%に増加し、平均12のベンチマークと5つの適応領域で評価された。 プロンプティングは、学生がどの視覚的区別を学ぶかを選択するという追加の能力を提供する。 4つのデータセットにわたる人間によるアノテート評価は、この基準固有の制御をサポートする。

関連論文リスト

• Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models [89.0460992131069]
  本稿では,CLIPのプレトレーニングプロセスのトレーニングレシピに従うAdvFLYPを提案する。 具体的には、AdvFLYPは、Webから収集された画像とテキストのペアに基づいて生成された敵画像とCLIPを微調整し、対照的な損失によって対応するテキストとマッチングする。 また,ロジットレベルの正規化条件と特徴レベルの正規化条件は,それぞれ堅牢性とクリーンな精度に有益であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T14:54:25Z)
• Image Recognition with Vision and Language Embeddings of VLMs [14.022566577479322]
  視覚言語モデル(VLM)は、画像テキストアライメントによる強力なゼロショット分類を実現している。 言語誘導画像と視覚のみの画像分類を多種多様なデュアルエンコーダVLMを用いて包括的に評価する。 精度に影響を及ぼす重要な要因は、素早い設計、クラス多様性、k-NNの隣人数、参照セットサイズなどである。
  論文  参考訳（メタデータ） (2025-09-11T09:54:25Z)
• Semantic Compositions Enhance Vision-Language Contrastive Learning [46.985865191341944]
  CLIPのようなモデルのゼロショット分類と検索能力は、事前学習中に意味論的に複合的な例を導入することで大幅に向上できることを示す。 本手法はキャプションを融合させ,各画像の50%をブレンドして新しい複合試料を作成する。 CLIP-Cの利点は、特に比較的限られた事前学習データを持つ設定で顕著である。
  論文  参考訳（メタデータ） (2024-07-01T15:58:20Z)
• Mining Open Semantics from CLIP: A Relation Transition Perspective for Few-Shot Learning [46.25534556546322]
  そこで本稿では,イメージ・アンカー関係から画像・ターゲット関係に遷移して予測を行うアンカーとしてオープンセマンティクスを抽出することを提案する。 本手法は, 数ショットの分類設定を考慮し, 従来の最先端技術に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-06-17T06:28:58Z)
• Leveraging Cross-Modal Neighbor Representation for Improved CLIP Classification [54.96876797812238]
  画像と隣接するテキスト間の距離構造に基づく新しいCrOss-moDal nEighbor表現(CODER)を提案する。 高品質のCODERを構築する鍵は、画像にマッチする大量の高品質で多様なテキストを作成する方法にある。 さまざまなデータセットやモデルに対する実験結果から、CODERの有効性が確認されている。
  論文  参考訳（メタデータ） (2024-04-27T02:04:36Z)
• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• Open Vocabulary Semantic Segmentation with Patch Aligned Contrastive Learning [82.70453633641466]
  Patch Aligned Contrastive Learning (PACL)を導入する。 PACLは画像レベルの予測にも適用可能であることを示し、CLIPバックボーンで使用すると、ゼロショット分類精度が全般的に向上することを示した。
  論文  参考訳（メタデータ） (2022-12-09T17:23:00Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• CyCLIP: Cyclic Contrastive Language-Image Pretraining [34.588147979731374]
  ペア画像テキストデータに対するコントラスト表現学習の最近の進歩は、ゼロショット分類と分布ロバスト性のための最先端性能を達成するCLIPのようなモデルにつながっている。 我々は、標準のコントラスト目的によって学習された画像とテキストの表現が交換不可能であり、不整合な下流予測につながることを実証した。 画像やテキスト空間で幾何学的に一貫した表現を明示的に最適化するコントラスト表現学習フレームワークであるCyCLIPを提案する。
  論文  参考訳（メタデータ） (2022-05-28T15:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。