論文の概要: SynCLIP: Synonym-Coherent Language-Image Pretraining for Robust Open-Vocabulary Dense Perception
- arxiv url: http://arxiv.org/abs/2607.11008v1
- Date: Mon, 13 Jul 2026 02:16:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.301919
- Title: SynCLIP: Synonym-Coherent Language-Image Pretraining for Robust Open-Vocabulary Dense Perception
- Title（参考訳）: SynCLIP:ロバストなオープン語彙認識のための構文コヒーレントな言語画像事前学習
- Abstract要約: SynCLIPはSynonym-Coherent Language-Image Pretrainingフレームワークである。
開語彙密度知覚のための同義語ロバスト接地を強化する。
これはCLIPベースのOVDP手法の最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 18.893901764545742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-vocabulary dense perception (OVDP) aims to localize objects unseen during training by leveraging textual knowledge. Despite the remarkable progress of recent CLIP-based approaches, we identify a critical limitation: synonym-induced grounding inconsistency, where semantically equivalent expressions yield disparate spatial attention patterns. This inconsistency undermines the robustness and performance of existing methods in real-world OVDP applications. To address this issue, we propose SynCLIP, a Synonym-Coherent Language-Image Pretraining framework that enhances synonym-robust grounding for OVDP. SynCLIP introduces a Semantic-consistent Spatial Attention alignment (SSA) module to enhance spatial attention consistency by minimizing discrepancies between attention maps of original and synonymous expressions. Furthermore, a Spatial Attention Refinement (SAR) module selectively strengthens the most semantically relevant spatial regions within aligned maps for more precise and stable grounding. To support synonym-coherent pretraining, we also construct a Synonym-Enriched Visual Corpus (SEViC), which augments each category with multiple synonyms and textual definitions. Extensive experiments on multiple benchmarks demonstrate that SynCLIP substantially improves grounding consistency under diverse linguistic variants and achieves state-of-the-art performance among CLIP-based OVDP methods. Code is available at https://github.com/Justlovesmile/SynCLIP.
- Abstract（参考訳）: Open-vocabulary dense perception (OVDP) は、テキスト知識を活用して、トレーニング中に見えない物体をローカライズすることを目的としている。
近年のCLIPに基づくアプローチの顕著な進歩にもかかわらず,同義語による接地不整合,意味的に等価な表現が異なる空間的注意パターンをもたらすという限界が認識されている。
この矛盾は、現実世界のOVDPアプリケーションにおける既存の手法の堅牢性と性能を損なう。
この問題に対処するために,OVDPの同義語ロバストグラウンド化を強化するSynchom-Coherent Language- Image PretrainingフレームワークであるSynCLIPを提案する。
SynCLIPはセマンティック・一貫性のある空間アライメント・アライメント(SSA)モジュールを導入し、原表現と同義表現の注意マップの相違を最小限にすることで空間アライメントの整合性を高める。
さらに、SARモジュールは、より正確で安定した接地のために、アライメントマップ内の最も意味のある空間領域を選択的に強化する。
シノニム・コヒーレント事前学習をサポートするために、複数のシノニムとテキスト定義で各カテゴリを増強するSynonym-Enriched Visual Corpus (SEViC)を構築した。
複数のベンチマークでの大規模な実験により、SynCLIPは多様な言語変種下での基底一貫性を大幅に改善し、CLIPベースのOVDP手法の最先端性能を実現することが示されている。
コードはhttps://github.com/Justlovesmile/SynCLIPで入手できる。
関連論文リスト
- Learning from Multimodal Pseudo-Labels for Robust Open-Vocabulary Instance and Panoptic Segmentation [11.82691757866647]
本研究は,OVIS(Open-vocabulary instance segmentation)とOSPS(Open-set Panoptic segmentation)の課題に対処する。
既存の手法では、ノイズの多い擬似マスク、限られた視覚的テキストの接地、同義語や語彙外語を扱うのが困難であることが多い。
本稿では,事前学習した視覚言語モデルを用いて,擬似ラベルの自動生成,CLIP誘導同義語フィルタリング,GPTに基づく字幕再構成を行うマルチモーダルフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-12T05:39:57Z) - TraceCLIP: Recovering Local Semantics from Patch-to-CLS Contributions [20.430455131220544]
我々は、潜伏パッチレベルのセマンティックエビデンスを回復するトレーニング不要のフレームワークであるTraceCLIPを紹介する。
また,TraceCLIPは,最強のトレーニングフリー手法よりも平均mIoUで1.3～4.5ポイント向上することを示した。
論文 参考訳（メタデータ） (2026-07-28T11:25:27Z) - Structured-Condensed Prompt Tuning in Vision-Language Models for Fine-grained Image Recognition [38.294322671641545]
微粒な画像認識は、手動のアノテーションに必要な相当な専門知識と努力のために重要な課題である。
現在のメソッドでは、クラスラベルを独立した独立したエンティティとして扱い、それらの間のリッチなセマンティックな関係を見渡しています。
本稿では,素早い学習における意味的構造モデリングの強化を目的としたSCPT(Structured-Condensed Prompt Tuning)を提案する。
論文 参考訳（メタデータ） (2026-07-07T12:09:49Z) - Seeking Consensus: Geometric-Semantic On-the-Fly Recalibration for Open-Vocabulary Remote Sensing Semantic Segmentation [27.476148859056114]
SeeCoは、リモートセンシング画像におけるトレーニング不要のOVSSモデルのパフォーマンスを向上させるための、プラグアンドプレイフレームワークである。
デュアルコンセンサスを求めることにより、任意のOVSSモデルをオンザフライで再分類する。
8つのリモートセンシングOVSSベンチマークの実験は、一貫した利得を示している。
論文 参考訳（メタデータ） (2026-04-29T01:57:21Z) - Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining [59.2578488860426]
不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。
既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。
本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
論文 参考訳（メタデータ） (2026-03-02T11:38:12Z) - Context Patch Fusion With Class Token Enhancement for Weakly Supervised Semantic Segmentation [5.859471574310312]
本稿では,CPF-CTE(Context Patch Fusion with Class Token Enhancement)フレームワークを提案する。
CPF-CTEは、パッチ間のコンテキスト関係を利用して特徴表現を強化し、セグメンテーションを改善する。
CPF-CTEは従来のWSSS手法を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-01-21T07:12:23Z) - Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。
グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。
グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
論文 参考訳（メタデータ） (2026-01-13T03:35:18Z) - Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。
2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
論文 参考訳（メタデータ） (2025-08-15T06:43:51Z) - Boosting Neural Language Inference via Cascaded Interactive Reasoning [38.125341836302525]
自然言語推論(NLI)は、与えられた前提と仮説の間の論理的関係の確認に焦点を当てている。
この課題は、多様な言い回し、意味的複雑さ、文脈的ニュアンスといった固有の言語的特徴により、重大な課題を提起する。
NLIにおける深い意味理解のために設計された新しいアーキテクチャであるCascaded Interactive Reasoning Network (CIRN)を紹介する。
論文 参考訳（メタデータ） (2025-05-10T11:37:15Z) - Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳（メタデータ） (2024-05-15T00:17:48Z) - Open-Vocabulary Segmentation with Semantic-Assisted Calibration [68.41025728960176]
オープンボキャブラリセグメンテーション(OVS)は,CLIPの文脈に先行して,語彙内およびドメインバイアスの埋め込み空間を校正することで研究される。
オープン語彙セグメンテーションベンチマークにおける最先端性能を実現するために,セマンティック・アシブ・キャリブレーション・ネットワーク(SCAN)を提案する。
論文 参考訳（メタデータ） (2023-12-07T07:00:09Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。