論文の概要: AspectCLIP: Optimizing CLIP Representation Space via Aspect-Guided Consistency Regularization

• arxiv url: http://arxiv.org/abs/2607.13805v2
• Date: Thu, 16 Jul 2026 11:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 14:53:42.225307
• Title: AspectCLIP: Optimizing CLIP Representation Space via Aspect-Guided Consistency Regularization
• Title（参考訳）: AspectCLIP: Aspect-Guided Consistency RegularizationによるCLIP表現空間の最適化
• Authors: Yiyang Yao, Shanglin Liu, Jianming Lv, Chengjun Wang, Jinyi Li, Yuchan Jie, Zhihua Jin,
• Abstract要約: コントラスト言語-画像事前学習は,大規模なコントラスト学習を通じて共有表現空間を学習する。 本稿では,この一対多構造を尊重するために整合正則化を再構築するフレームワークであるAspectCLIPを提案する。
• 参考スコア（独自算出の注目度）: 8.927989952759278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Language-Image Pretraining learns a shared representation space through large-scale contrastive learning. However, existing methods that enforce global consistency regularization overlook a key challenge: the inherent information asymmetry between images and text: captions typically describe only one specific aspect of an image, thus images with similar visual content can be paired with completely divergent textual content and semantic information. Consequently, global regularizers inadvertently impose constraints between visually similar images whose captions describe divergent aspects, introducing semantic distortion into the representation space. We propose AspectCLIP, a framework that reformulates consistency regularization to respect this one-to-many structure. AspectCLIP first partitions training samples into attribute clusters based on textual similarity to identify aspect-coherent groups, then applies full cyclic consistency within each cluster while restricting cross-cluster regularization to prototype-level comparisons. This aspect-guided regularization enforces strict geometric alignment only when images and texts describe a consistent facet, while allowing flexibility across divergent aspects. Extensive experiments on downstream tasks demonstrate that AspectCLIP consistently outperforms traditional methods and achieves a more structured representation space.
• Abstract（参考訳）: コントラスト言語-画像事前学習は,大規模なコントラスト学習を通じて共有表現空間を学習する。 画像とテキストの間に固有の情報非対称性: キャプションは通常、画像の1つの特定の側面だけを記述しているため、類似した視覚的内容を持つ画像は、完全に異なるテキストコンテンツとセマンティック情報と組み合わせることができる。 その結果、グローバルな正規化器は、キャプションが異なる側面を記述している視覚的に類似した画像間の制約を不注意に課し、表現空間に意味的歪みを導入する。 本稿では,この一対多構造を尊重するために整合正則化を再構築するフレームワークであるAspectCLIPを提案する。 AspectCLIPはまず、サンプルをテキストの類似性に基づいて属性クラスタに分割し、アスペクトコヒーレントなグループを特定し、次に各クラスタに完全な循環一貫性を適用しながら、クロスクラスタの正規化をプロトタイプレベルの比較に制限する。 このアスペクト誘導正規化は、画像とテキストが一貫したファセットを記述する場合にのみ厳密な幾何学的アライメントを強制し、異なるアスペクト間の柔軟性を許容する。 下流タスクに関する大規模な実験は、AspectCLIPが従来手法より一貫して優れ、より構造化された表現空間を実現することを示した。

関連論文リスト

• Geometric Disentanglement of Text Embeddings for Subject-Consistent Text-to-Image Generation using A Single Prompt [14.734857939203811]
  主観的視点から意味的絡み合いに対処する学習自由アプローチを提案する。 提案手法は既存のベースラインに対する主観的一貫性とテキストアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2025-12-18T11:55:06Z)
• Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers [56.76198904599581]
  テキストと画像の拡散モデルは、言語翻訳において優れているため、モーダル間の注意機構を通じて暗黙的に概念を基礎づける。 近年のマルチモーダル拡散トランスフォーマーでは, 共用画像とテキストトークンを導入し, よりリッチでスケーラブルなクロスモーダルアライメントを実現している。 MM-DiTの注意構造を分析するための体系的フレームワークであるSeg4Diffを導入し,テキストから画像への意味情報の伝達方法に着目した。
  論文  参考訳（メタデータ） (2025-09-22T17:59:54Z)
• Neural Scene Designer: Self-Styled Semantic Image Manipulation [67.43125248646653]
  我々は,ユーザが指定したシーン領域のリアルな写真操作を可能にする新しいフレームワークであるNeural Scene Designer (NSD)を紹介した。 NSDは、ユーザ意図とのセマンティックアライメントと、周辺環境とのスタイリスティックな整合性の両方を保証する。 細かなスタイル表現を捉えるために,プログレッシブ・セルフスタイル表現学習(PSRL)モジュールを提案する。
  論文  参考訳（メタデータ） (2025-09-01T11:59:03Z)
• ShapeShift: Towards Text-to-Shape Arrangement Synthesis with Content-Aware Geometric Constraints [13.2441524021269]
  ShapeShiftはテキスト誘導による画像から画像への変換タスクであり、入力された剛体形状の集合を重複しない構成に再構成する必要がある。 重複が発生した場合に,最小限の意味的コヒーレントな調整を施す,コンテンツ対応の衝突解決機構を導入する。 本手法は,空間的関係がテキストのプロンプトをはっきりと具現化した解釈可能な構成を与える。
  論文  参考訳（メタデータ） (2025-03-18T20:48:58Z)
• SketchYourSeg: Mask-Free Subjective Image Segmentation via Freehand Sketches [116.1810651297801]
  SketchYourSegは、主観的なイメージセグメンテーションのための強力なクエリモダリティとして、フリーハンドスケッチを確立している。 我々の評価は、様々なベンチマークで既存のアプローチよりも優れた性能を示している。
  論文  参考訳（メタデータ） (2025-01-27T13:07:51Z)
• InvSeg: Test-Time Prompt Inversion for Semantic Segmentation [33.60580908728705]
  InvSegはオープン語彙セマンティックセグメンテーションに取り組むテストタイムプロンプトインバージョンメソッドである。 コントラストソフトクラスタリング(Contrastive Soft Clustering, CSC)を導入し, 導出マスクを画像の構造情報と整合させる。 InvSegはコンテキストリッチなテキストプロンプトを埋め込み空間で学習し、モダリティ間の正確なセマンティックアライメントを実現する。
  論文  参考訳（メタデータ） (2024-10-15T10:20:31Z)
• UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding [90.74967596080982]
  本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語-画像事前学習(CLIP)を拡張した。 UMG-CLIPと呼ばれる統一多言語学習フレームワークを開発した。 パラメータ効率のよいチューニングにより、UMG-CLIPは、現在広く使われているCLIPの亜種を超え、多様な画像理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-01-12T06:35:09Z)
• SyCoCa: Symmetrizing Contrastive Captioners with Attentive Masking for Multimodal Alignment [11.556516260190737]
  言語と視覚のマルチモーダルアライメントは、現在の視覚言語モデル研究の基本的なトピックである。 本稿では,Contrastive Language-Image Pretraining (CLIP) と Image Caption (IC) を統合するためのContrastive Captioners (CoCa) を提案する。
  論文  参考訳（メタデータ） (2024-01-04T08:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。