論文の概要: Fine-grained CLIP fine-tuning with self-annotated region alignment

• arxiv url: http://arxiv.org/abs/2607.13661v1
• Date: Wed, 15 Jul 2026 10:06:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.740198
• Title: Fine-grained CLIP fine-tuning with self-annotated region alignment
• Title（参考訳）: 自己アノテート領域アライメントを用いたきめ細かいCLIP微細調整
• Abstract要約: 対照的な言語-画像事前学習は、そのきめ細かい特徴表現に制限があることが示されている。 そこで我々は,CLIPファインチューニングにおける細粒度表現能力を高めるために,SFF-CLIP(Self-annotated Fine-fine-tuning for CLIP)を提案する。
• 参考スコア（独自算出の注目度）: 57.28808560528696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive Language-Image Pre-training (CLIP) has been shown to have limitations in its fine-grained dense feature representation, due to its pre-training focusing on matching the whole image to a text description. Considering the large data and computational burden in pre-training a vision-language model from scratch, a series of works aim to enhance the fine-grained ability of CLIP through a fine-tuning scheme. However, existing works suffer from a variety of limitations: additional region annotations are usually required, which limits the semantic diversity due to the predefined categories and leads to a large effort to process the training data; and they usually sacrifice CLIP's original ability for global visual representation. To bypass these limitations, we propose SFF-CLIP (Self-annotated Fine-grained Fine-tuning for CLIP), which only uses image-text pairs as input to boost the fine-grained representation ability in the CLIP fine-tuning, while maintaining the global visual-semantic consistency. Concretely, a run-time region-phrase alignment scheme is designed, which obtains concept phrases from the input sentence, and aligns them with corresponding extracted region-based features using text-specific heat maps. Extensive experiments demonstrate that SFF-CLIP leads to significant performance improvements on fine-grained dense feature representation, as well as maintaining the performance of the original CLIP on image-level tasks. Code will be released later.
• Abstract（参考訳）: コントラスト言語-画像事前学習(CLIP)は、画像全体とテキスト記述とのマッチングに重点を置いているため、細粒度で高密度な特徴表現に制限があることが示されている。 視覚言語モデルをスクラッチから事前学習する際の膨大なデータと計算負担を考慮すると、CLIPの細粒度化能力を微調整方式により強化することを目的としている。 追加のリージョンアノテーションは、事前に定義されたカテゴリによって意味的な多様性を制限し、トレーニングデータの処理に多大な労力を費やす。 これらの制限を回避し,CLIPの微細な表現能力を高めるために,画像テキストペアのみを入力として使用するSFF-CLIP(Self-annotated Fine-fine-tuning for CLIP)を提案する。 具体的には、入力文から概念句を取得し、テキスト固有の熱マップを用いて対応する領域ベースの特徴と整合する実行時領域句アライメントスキームを設計する。 大規模な実験により、SFF-CLIPはきめ細かな特徴表現の大幅な性能向上と、画像レベルのタスクにおける元のCLIPの性能維持につながることが示されている。 コードは後でリリースされる。

関連論文リスト

• SuperCLIP: CLIP with Simple Classification Supervision [88.86549733903314]
  Contrastive Language-Image Pretrainingは、画像とテキストを共有埋め込み空間に整列させることにより、視覚言語タスクの強力な一般化を実現する。 近年,CLIP様モデルでは,テキスト中の微細なセマンティック信号が依然として使われていないことが報告されている。 分類に基づく教師付きコントラスト学習のフレームワークであるSuperCLIPを提案する。
  論文  参考訳（メタデータ） (2025-12-16T15:11:53Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception [21.87721909270275]
  DeCLIPはCLIPをコンテンツとコンテキストの機能で強化する新しいフレームワークである。 複数の開語彙密接な予測タスクで既存の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-05-07T13:46:34Z)
• Refining CLIP's Spatial Awareness: A Visual-Centric Perspective [10.936397225984107]
  コントラスト言語-画像 事前学習は、言語とのグローバルな整合性が優れているが、空間情報に対する感度は限られている。 最近のアプローチでは、高密度マルチモーダルタスクにおけるCLIPの性能を高めるために、Rerea-Language Alignmentを導入している。 本稿では,CLIP固有の空間構造を保存し,上記の劣化を緩和する空間相関蒸留(SCD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T07:04:56Z)
• FineLIP: Extending CLIP's Reach via Fine-Grained Alignment with Longer Text Inputs [0.351124620232225]
  FineLIPは textbfFine の粒度のアライメントと textbfLonger のテキスト入力を組み込むことで、クロスモーダルなテキストイメージマッピングを強化する。 FineLIPはまず、より長いテキストを扱うために位置埋め込みを拡張し、続いてローカル画像とテキストトークンの動的集約を行う。 我々は、ゼロショット・クロスモーダル検索とテキスト・ツー・イメージ生成という2つのタスクにまたがって、長い詳細なキャプションを持つデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2025-04-02T17:19:59Z)
• CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense Prediction [67.43527289422978]
  そこで我々は,CLIPSelfというアプローチを提案し,CLIP ViTの画像レベルの認識能力を局所画像領域に適用する。 オープンボキャブラリオブジェクト検出,セマンティックセグメンテーション,パン光学セグメンテーションを,様々なベンチマークで実現した。
  論文  参考訳（メタデータ） (2023-10-02T17:58:52Z)
• CgT-GAN: CLIP-guided Text GAN for Image Captioning [48.276753091051035]
  本稿では,CLIP-Guided text GAN (CgT-GAN) を提案する。 我々は,外部テキストコーパスのフレーズを模倣するために,CgT-GANの教育に逆行訓練を用いる。 CgT-GANは、すべてのメトリクスで最先端のメソッドを著しく上回る。
  論文  参考訳（メタデータ） (2023-08-23T10:25:37Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• No Token Left Behind: Explainability-Aided Image Classification and Generation [79.4957965474334]
  ここでは、CLIPが入力のすべての関連する意味的部分に焦点を当てることを保証するために、損失項を追加する新しい説明可能性に基づくアプローチを提案する。 本手法は, 追加訓練や微調整を伴わずに, 認識率の向上を図っている。
  論文  参考訳（メタデータ） (2022-04-11T07:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。