論文の概要: PowerCLIP: Powerset Alignment for Contrastive Pre-Training

• arxiv url: http://arxiv.org/abs/2511.23170v2
• Date: Mon, 01 Dec 2025 07:34:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 15:37:38.52409
• Title: PowerCLIP: Powerset Alignment for Contrastive Pre-Training
• Title（参考訳）: PowerCLIP:コントラスト事前訓練のためのパワーセットアライメント
• Authors: Masaki Kawamura, Nakamasa Inoue, Rintaro Yanagi, Hirokatsu Kataoka, Rio Yokota,
• Abstract要約: PowerCLIPは、パワーセットアライメントによって強化された、新しい対照的な事前トレーニングフレームワークである。 実験の結果,PowerCLIPはゼロショット分類や検索タスクにおいて最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 37.8969701606161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive vision-language pre-training frameworks such as CLIP have demonstrated impressive zero-shot performance across a range of vision-language tasks. Recent studies have shown that aligning individual text tokens with specific image patches or regions enhances fine-grained compositional understanding. However, it remains challenging to capture compositional semantics that span multiple image regions. To address this limitation, we propose PowerCLIP, a novel contrastive pre-training framework enhanced by powerset alignment, which exhaustively optimizes region-to-phrase alignments by minimizing the loss defined between powersets of image regions and textual parse trees. Since the naive powerset construction incurs exponential computational cost due to the combinatorial explosion in the number of region subsets, we introduce efficient non-linear aggregators (NLAs) that reduce complexity from O(2^M) to O(M) with respect to the number of regions M, while approximating the exact loss value with arbitrary precision. Our extensive experiments demonstrate that PowerCLIP outperforms state-of-the-art methods in zero-shot classification and retrieval tasks, underscoring the compositionality and robustness of our approach. Our code will be made publicly available.
• Abstract（参考訳）: CLIPのような対照的な視覚言語事前トレーニングフレームワークは、様々な視覚言語タスクで印象的なゼロショットパフォーマンスを示している。 近年の研究では、個々のテキストトークンを特定の画像パッチや領域と整合させることで、きめ細かい構成理解が促進されていることが示されている。 しかし、複数の画像領域にまたがる構成的意味論を捉えることは依然として困難である。 この制限に対処するため,画像領域のパワーセットとテキストパースツリーの損失を最小限に抑えることで,領域間アライメントを徹底的に最適化する,パワーセットアライメントによって強化された新しいコントラスト付き事前学習フレームワークであるPowerCLIPを提案する。 そこで我々は,O(2^M) から O(M) への複雑性を減少させる効率的な非線形アグリゲータ (NLA) を導入するとともに,正確な損失値を任意の精度で近似する。 広範にわたる実験により,PowerCLIPはゼロショット分類や検索タスクにおいて最先端の手法よりも優れており,その構成性や堅牢性も評価されている。 私たちのコードは公開されます。

関連論文リスト

• Refining CLIP's Spatial Awareness: A Visual-Centric Perspective [10.936397225984107]
  コントラスト言語-画像 事前学習は、言語とのグローバルな整合性が優れているが、空間情報に対する感度は限られている。 最近のアプローチでは、高密度マルチモーダルタスクにおけるCLIPの性能を高めるために、Rerea-Language Alignmentを導入している。 本稿では,CLIP固有の空間構造を保存し,上記の劣化を緩和する空間相関蒸留(SCD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T07:04:56Z)
• Seeing What Matters: Empowering CLIP with Patch Generation-to-Selection [54.21851618853518]
  本稿では,CLIPのトレーニング効率を高めるために,パッチ生成と選択という簡潔で効果的なアプローチを提案する。 私たちのアプローチであるCLIP-PGSは、ゼロショット分類と検索タスクにおいて、新しい最先端結果を設定する。
  論文  参考訳（メタデータ） (2025-03-21T12:10:38Z)
• TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives [65.82577305915643]
  Contrastive Language-Image Pretraining (CLIP) モデルは、表現を学ぶためにテキストと視覚的モダリティ間の相互情報を最大化する。 そこで本研究では,テキスト・ツー・イメージ・ジェネレータを用いて,文脈内学習による「ハード」の負の字幕生成と,それに対応する負のイメージ生成が解となることを示す。 提案手法はTripletCLIPと呼ばれ,CLIPの構成能力を向上し,SugarCrepeベンチマークでは9%以上向上した。
  論文  参考訳（メタデータ） (2024-11-04T19:24:59Z)
• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• Taming CLIP for Fine-grained and Structured Visual Understanding of Museum Exhibits [59.66134971408414]
  博物館展示の微細で構造化された理解にCLIPを適用することを目的としている。 私たちのデータセットは、パブリックドメインで最初のものです。 提案手法(MUZE)は,変換器を用いた解析ネットワーク(parseNet)を用いて,CLIPのイメージ埋め込みを表構造にマッピングする方法を学習する。
  論文  参考訳（メタデータ） (2024-09-03T08:13:06Z)
• Multi-Grained Cross-modal Alignment for Learning Open-vocabulary Semantic Segmentation from Text Supervision [23.931443799102663]
  我々は,高密度アノテーションを使わずに粒度ギャップを埋めるために,MGCA(Multi-Grained Cross-Modal Alignment)フレームワークを導入する。 具体的には、MGCAは画像とテキストのペアに基づいて擬似多言語意味対応を構築する。 提案手法は最先端の手法よりも大幅に進歩し,その有効性と効率性を実証する。
  論文  参考訳（メタデータ） (2024-03-06T13:43:36Z)
• UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding [90.74967596080982]
  本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語-画像事前学習(CLIP)を拡張した。 UMG-CLIPと呼ばれる統一多言語学習フレームワークを開発した。 パラメータ効率のよいチューニングにより、UMG-CLIPは、現在広く使われているCLIPの亜種を超え、多様な画像理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-01-12T06:35:09Z)
• Mining Fine-Grained Image-Text Alignment for Zero-Shot Captioning via Text-Only Training [14.340740609933437]
  そこで本研究では,モダリティギャップを低減するために,テキストのみのトレーニングを施したゼロショット画像キャプションフレームワークを提案する。 特に,地域情報を活用するためのサブリージョン機能アグリゲーションを導入する。 フレームワークを拡張してゼロショットのVQAパイプラインを構築し、その汎用性を実証します。
  論文  参考訳（メタデータ） (2024-01-04T16:43:46Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。