論文の概要: Unlocking Fine-Grained Perception in CLIP via Structurally-Aware Latent Masked Modeling

• arxiv url: http://arxiv.org/abs/2610.07689v1
• Date: Tue, 06 Oct 2026 03:25:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.785724
• Title: Unlocking Fine-Grained Perception in CLIP via Structurally-Aware Latent Masked Modeling
• Title（参考訳）: 構造認識型潜在マスケッドモデリングによるCLIPの細粒度知覚の解錠
• Abstract要約: VLM(Vision-Language Models)は、グローバルなセマンティックアライメントに優れるが、細かな機能に欠けることが多い。 SALMは、構造的に認識可能な潜在マスクモデリングに基づく、教師なしの埋め込みアライメントフレームワークである。 我々は,SALMがCLIPのゼロショット精度を高め,MLLMの微粒化理解能力を効果的に向上させることを示す。
• 参考スコア（独自算出の注目度）: 15.547318319681308
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-Language Models (VLMs) such as CLIP excel in global semantic alignment but often lack fine-grained perceptual capabilities. This hinders dense prediction tasks and bottlenecks the visual potential of Multimodal Large Language Models (MLLMs). Existing research has attempted to enhance CLIP's visual representations by incorporating geometric priors from vision-centric models. However, these strategies often struggle to achieve deep alignment for both local spatial structures and global semantics, potentially even distorting the original image-text space. To address these limitations, we propose SALM, an unsupervised embedding alignment framework based on structurally-aware latent mask modeling. SALM effectively synergizes local and global alignment via a dual-path design combining explicit and implicit mechanisms, without requiring any image-text pairs. First, we introduce a dual-matrix alignment strategy that explicitly calibrates intra-sample spatial correlations and activation intensities, thereby effectively injecting local geometric priors. Based on this, we further design a latent mask modeling mechanism to guide CLIP to restore the missing semantic details of the target model, thereby implicitly aggregating fine-grained structures into the global semantic space. Furthermore, driven by the empirical observations that CLIP's shallow features inherently possess strong spatial observational capabilities, we naturally extend SALM to a highly efficient self-distillation paradigm, SALM-Self. This unlocks CLIP's intrinsic fine-grained potential without relying on any external models. Extensive experiments demonstrate that SALM not only significantly improves performance in dense prediction tasks but also boosts CLIP's zero-shot accuracy, effectively enhancing the fine-grained understanding capabilities of MLLMs. Project page at https://qzfm.github.io/salm_project_page/.
• Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は、グローバルなセマンティックアライメントに優れるが、しばしば微細な知覚能力に欠ける。 これにより、密集した予測タスクが妨げられ、Multimodal Large Language Models (MLLM) の視覚的ポテンシャルがボトルネックとなる。 既存の研究は、視覚中心のモデルから幾何的な先入観を取り入れることで、CLIPの視覚表現を強化しようと試みている。 しかし、これらの戦略は局所的な空間構造と大域的な意味論の両方を深く整合させることに苦慮し、元の画像テキスト空間を歪ませる可能性さえある。 これらの制約に対処するため,構造化された潜在マスクモデルに基づく非教師なし埋め込みアライメントフレームワークSALMを提案する。 SALMは、画像とテキストのペアを必要とせず、明示的かつ暗黙的なメカニズムを組み合わせたデュアルパス設計により、局所的および大域的なアライメントを効果的にシナジする。 まず,二つの行列アライメント戦略を導入し,局所幾何学的先行点を効果的に注入する。 これに基づいて、我々はCLIPを誘導する潜在マスクモデリング機構をさらに設計し、ターゲットモデルの欠落したセマンティック詳細を復元し、大域的なセマンティック空間に微粒構造を暗黙的に集約する。 さらに,CLIPの浅部特徴が本質的に強い空間観測能力を有するという経験的観察により,SALMを高効率な自己蒸留パラダイムであるSALM-Selfに自然に拡張する。 これにより、CLIPの固有の細粒度ポテンシャルを外部モデルに頼らずにアンロックできる。 大規模な実験により、SALMは密集予測タスクの性能を著しく向上するだけでなく、CLIPのゼロショット精度も向上し、MLLMの細粒度理解能力を効果的に向上することが示された。 プロジェクトページはhttps://qzfm.github.io/salm_project_page/。

関連論文リスト

• TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
  Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。 我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
  論文  参考訳（メタデータ） (2026-03-03T13:28:07Z)
• SPACE-CLIP: Spatial Perception via Adaptive CLIP Embeddings for Monocular Depth Estimation [0.0]
  凍結したCLIPビジョンエンコーダから直接、潜伏した幾何学的知識を解き明かし、解釈するアーキテクチャであるSPACE-CLIPを提案する。 意味経路は、グローバルな文脈で動的に条件付けられた高レベルな特徴を解釈する。 構造経路は、初期層から微細な空間的詳細を抽出する。
  論文  参考訳（メタデータ） (2026-01-25T02:32:01Z)
• SpatialGeo:Boosting Spatial Reasoning in Multimodal LLMs via Geometry-Semantics Fusion [23.86761713752287]
  MLLM(Multimodal large language model)は、画像および言語タスクにおいて大きな進歩を遂げている。 ほとんどのMLLMは、空間的配置を3次元空間で解釈し推論する限られた空間的推論能力に悩まされている。 幾何学と意味論の階層的融合に基づく新しい視覚エンコーダを提案し,空間認識型視覚埋め込みを生成する。
  論文  参考訳（メタデータ） (2025-11-21T15:24:33Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• Helping CLIP See Both the Forest and the Trees: A Decomposition and Description Approach [43.419607730361996]
  CLIPのようなビジョンランゲージモデル(VLM)は、対照的な学習を通じて、横断的なアライメントを実現する。 伝統的なプロンプトエンジニアリングは、きめ細かいカテゴリラベルに依存しており、きめ細かい局所的意味論を無視している。 そこで我々は,CLIPが局所化された視覚ディスクリプタを処理できるプラグイン・アンド・プレイソリューションを提案する。
  論文  参考訳（メタデータ） (2025-07-04T10:24:26Z)
• Improving Autoregressive Visual Generation with Cluster-Oriented Token Prediction [52.09472099976885]
  IARは、LLMベースのビジュアル生成モデルのトレーニング効率と生成品質を向上させる改良された自動回帰ビジュアル生成方法である。 提案手法は,モデルのトレーニング効率と性能を100Mから1.4Bに継続的に向上させ,同じFIDを達成しながらトレーニング時間を半減させる。
  論文  参考訳（メタデータ） (2025-01-01T15:58:51Z)
• Aligning Large Language Models and Geometric Deep Models for Protein Representation [57.59506688299817]
  遅延表現アライメントは、異なるモダリティからの埋め込みを共有空間にマッピングするために使用され、しばしば大きな言語モデル(LLM)の埋め込み空間と一致している。 プリミティブなタンパク質中心の大規模言語モデル (MLLM) が登場したが、それらは表現の至る所で最適なアライメントの実践に関する根本的な理解が欠如しているアプローチに大きく依存している。 本研究では,タンパク質領域におけるLLMと幾何学的深部モデル(GDM)のマルチモーダル表現のアライメントについて検討する。 本研究は, モデルおよびタンパク質の観点からのアライメント要因について検討し, 現行アライメント手法の課題を特定し, アライメントプロセスを改善するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-08T04:15:08Z)
• PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
  PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。 本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-14T17:55:03Z)
• CLIP Can Understand Depth [6.877245323116022]
  CLIPは、Webcrawledデータによる事前学習中に、その視覚言語アライメントを最適に学習する下流タスクに適応できることを示す。 凍結したテキストエンコーダの前のセマンティクスを「ミラー」と呼ばれる単一の学習可能な埋め込み行列に蒸留する。 その結果得られたモデルは印象的なパフォーマンスを示し、NYU Depth v2とKITTIベンチマークデータセットの最先端のビジョンモデルにマッチする。
  論文  参考訳（メタデータ） (2024-02-05T18:09:33Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。