論文の概要: Refining CLIP's Spatial Awareness: A Visual-Centric Perspective

• arxiv url: http://arxiv.org/abs/2504.02328v1
• Date: Thu, 03 Apr 2025 07:04:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:56:35.060349
• Title: Refining CLIP's Spatial Awareness: A Visual-Centric Perspective
• Title（参考訳）: CLIPの空間的認識:視覚的視点
• Authors: Congpei Qiu, Yanhao Wu, Wei Ke, Xiuxiu Bai, Tong Zhang,
• Abstract要約: コントラスト言語-画像 事前学習は、言語とのグローバルな整合性が優れているが、空間情報に対する感度は限られている。 最近のアプローチでは、高密度マルチモーダルタスクにおけるCLIPの性能を高めるために、Rerea-Language Alignmentを導入している。 本稿では,CLIP固有の空間構造を保存し,上記の劣化を緩和する空間相関蒸留(SCD)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.936397225984107
• License:
• Abstract: Contrastive Language-Image Pre-training (CLIP) excels in global alignment with language but exhibits limited sensitivity to spatial information, leading to strong performance in zero-shot classification tasks but underperformance in tasks requiring precise spatial understanding. Recent approaches have introduced Region-Language Alignment (RLA) to enhance CLIP's performance in dense multimodal tasks by aligning regional visual representations with corresponding text inputs. However, we find that CLIP ViTs fine-tuned with RLA suffer from notable loss in spatial awareness, which is crucial for dense prediction tasks. To address this, we propose the Spatial Correlation Distillation (SCD) framework, which preserves CLIP's inherent spatial structure and mitigates the above degradation. To further enhance spatial correlations, we introduce a lightweight Refiner that extracts refined correlations directly from CLIP before feeding them into SCD, based on an intriguing finding that CLIP naturally captures high-quality dense features. Together, these components form a robust distillation framework that enables CLIP ViTs to integrate both visual-language and visual-centric improvements, achieving state-of-the-art results across various open-vocabulary dense prediction benchmarks.
• Abstract（参考訳）: コントラスト言語-画像事前学習(CLIP)は、言語とのグローバルな整合性に優れるが、空間情報に対する感度は限定的であり、ゼロショット分類タスクでは高い性能を示すが、正確な空間理解を必要とするタスクでは性能が低い。 近年,高密度マルチモーダルタスクにおけるCLIPの性能を高めるために,地域視覚表現と対応するテキスト入力を整列させることにより,地域言語アライメント(RLA)を導入している。 しかし,RLAを微調整したCLIP ViTsは,高密度予測タスクにおいて重要な空間認識の喪失に悩まされている。 そこで本研究では,CLIP固有の空間構造を保存し,上記の劣化を緩和する空間相関蒸留(SCD)フレームワークを提案する。 空間的相関性をさらに高めるために,CLIP が高品質の高密度特徴を自然に捉えるという興味深い発見に基づいて,CLIP から直接 SCD に供給する前に精細な相関関係を抽出する軽量 Refiner を導入する。 これらのコンポーネントは共に堅牢な蒸留フレームワークを形成し、CLIP ViTsはビジュアル言語とビジュアル中心の改善の両方を統合し、様々なオープン語彙の高密度予測ベンチマークで最先端の結果を達成する。

関連論文リスト

• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
  CLIPの非最終層における自己注意の相互相関も局在特性を示す。 本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。 RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
  論文  参考訳（メタデータ） (2024-11-24T14:14:14Z)
• Contrastive Localized Language-Image Pre-Training [60.4967533101887]
  コントラスト言語-画像事前学習(CLIP)は、画像/テキスト表現を生成するために視覚エンコーダを訓練するための著名な方法である。 本稿では,CLIPとリージョンテキストのコントラッシブな損失とモジュールを補完することにより,CLOC(Contrastive Localized Language- Image Pre-Trening)を提案する。 CLOCは画像領域認識および検索タスクのための高品質な地域埋め込みを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T17:56:09Z)
• ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference [32.852004564832455]
  我々はCLIPのアーキテクチャを再検討し、残余接続をセグメンテーション品質を劣化させるノイズの主源として同定する。 オープン語彙セマンティックセグメンテーションを強化するためにCLIPの表現を分解する新しいアプローチであるClearCLIPを提案する。
  論文  参考訳（メタデータ） (2024-07-17T09:52:20Z)
• Explore the Potential of CLIP for Training-Free Open Vocabulary Semantic Segmentation [38.16802763051431]
  トレーニング不要なセマンティックセグメンテーション戦略であるCLIPtraseを提案する。 パッチ間の自己相関を補正することで、局所的な特徴認識を高める。 実験の結果、CLIPよりも平均して9つのセグメンテーションベンチマークで22.3%先行していることがわかった。
  論文  参考訳（メタデータ） (2024-07-11T08:12:16Z)
• Open-Vocabulary Segmentation with Semantic-Assisted Calibration [68.41025728960176]
  オープンボキャブラリセグメンテーション(OVS)は,CLIPの文脈に先行して,語彙内およびドメインバイアスの埋め込み空間を校正することで研究される。 オープン語彙セグメンテーションベンチマークにおける最先端性能を実現するために,セマンティック・アシブ・キャリブレーション・ネットワーク(SCAN)を提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:00:09Z)
• Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
  Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。 本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:18:57Z)
• Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition [77.93678598476149]
  CLIP-OCR(Symmetrical Linguistic Feature Distillation framework)を新たに構築する。 CLIP画像エンコーダを逆CLIPテキストエンコーダでカスケードすることにより、画像からテキストまでの特徴フローで対称構造を構築する。 大規模な実験では、CLIP-OCRが6つのSTRベンチマークで平均精度93.8%で有効であることが示されている。
  論文  参考訳（メタデータ） (2023-10-08T04:00:20Z)
• CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense Prediction [67.43527289422978]
  そこで我々は,CLIPSelfというアプローチを提案し,CLIP ViTの画像レベルの認識能力を局所画像領域に適用する。 オープンボキャブラリオブジェクト検出,セマンティックセグメンテーション,パン光学セグメンテーションを,様々なベンチマークで実現した。
  論文  参考訳（メタデータ） (2023-10-02T17:58:52Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。