論文の概要: FLEX-CLIP: Feature-Level GEneration Network Enhanced CLIP for X-shot Cross-modal Retrieval

• arxiv url: http://arxiv.org/abs/2411.17454v1
• Date: Tue, 26 Nov 2024 14:12:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:37:16.785147
• Title: FLEX-CLIP: Feature-Level GEneration Network Enhanced CLIP for X-shot Cross-modal Retrieval
• Title（参考訳）: FLEX-CLIP: X-shot Cross-modal Retrievalのための機能レベルジェネレーションネットワーク強化CLIP
• Authors: Jingyou Xie, Jiayi Kuang, Zhenzhou Lin, Jiarui Ouyang, Zishuo Zhao, Ying Shen,
• Abstract要約: CMR (Few-shot Cross-Modal Search) は、ターゲットドメインと別のモダリティで意味的に類似したインスタンスを検索する。 CLIPのような視覚言語による事前学習手法は、非常に少ないショットまたはゼロショットの学習性能を示している。 これらの課題に対処するために,新しい特徴レベル生成ネットワーク強化CLIPであるFLEX-CLIPを提案する。
• 参考スコア（独自算出の注目度）: 10.26297663751352
• License:
• Abstract: Given a query from one modality, few-shot cross-modal retrieval (CMR) retrieves semantically similar instances in another modality with the target domain including classes that are disjoint from the source domain. Compared with classical few-shot CMR methods, vision-language pretraining methods like CLIP have shown great few-shot or zero-shot learning performance. However, they still suffer challenges due to (1) the feature degradation encountered in the target domain and (2) the extreme data imbalance. To tackle these issues, we propose FLEX-CLIP, a novel Feature-level Generation Network Enhanced CLIP. FLEX-CLIP includes two training stages. In multimodal feature generation, we propose a composite multimodal VAE-GAN network to capture real feature distribution patterns and generate pseudo samples based on CLIP features, addressing data imbalance. For common space projection, we develop a gate residual network to fuse CLIP features with projected features, reducing feature degradation in X-shot scenarios. Experimental results on four benchmark datasets show a 7%-15% improvement over state-of-the-art methods, with ablation studies demonstrating enhancement of CLIP features.
• Abstract（参考訳）: あるモダリティからのクエリが与えられた場合、少数ショットのクロスモーダル検索(CMR)は、ソースドメインから切り離されたクラスを含むターゲットドメインと、別のモダリティで意味的に類似したインスタンスを検索する。 古典的な数ショットCMR法と比較して、CLIPのような視覚言語による事前学習法は、非常に少ないショットまたはゼロショットの学習性能を示している。 しかし、(1)対象領域で発生する特徴劣化と(2)極端なデータ不均衡のため、依然として課題に悩まされている。 これらの課題に対処するために,新しい特徴レベル生成ネットワーク強化CLIPであるFLEX-CLIPを提案する。 FLEX-CLIPは2つの訓練段階を含む。 マルチモーダル特徴生成において、実特徴分布パターンをキャプチャし、CLIP特徴に基づく擬似サンプルを生成し、データの不均衡に対処する複合マルチモーダルVAE-GANネットワークを提案する。 共通空間投影のために、我々はCLIP機能を投影された特徴と融合させるゲート残差ネットワークを開発し、Xショットシナリオにおける特徴劣化を低減する。 4つのベンチマークデータセットの実験結果から、最先端の手法よりも7%～15%改善し、CLIP機能の強化を示すアブレーション研究が行われた。

関連論文リスト

• Disentangling CLIP Features for Enhanced Localized Understanding [58.73850193789384]
  提案するUnmix-CLIPは,相互特徴情報(MFI)の低減と特徴の絡み合いの改善を目的とした新しいフレームワークである。 COCO-14データセットでは、Unmix-CLIPは機能の類似性を24.9%削減している。
  論文  参考訳（メタデータ） (2025-02-05T08:20:31Z)
• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な言語表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference [32.852004564832455]
  我々はCLIPのアーキテクチャを再検討し、残余接続をセグメンテーション品質を劣化させるノイズの主源として同定する。 オープン語彙セマンティックセグメンテーションを強化するためにCLIPの表現を分解する新しいアプローチであるClearCLIPを提案する。
  論文  参考訳（メタデータ） (2024-07-17T09:52:20Z)
• CapS-Adapter: Caption-based MultiModal Adapter in Zero-Shot Classification [3.594351309950969]
  CapS-Adapterは、イメージとキャプションの両方の機能を活用して、トレーニング不要シナリオにおける既存の最先端技術を超える革新的な方法である。 提案手法は,19個のベンチマークデータセットのゼロショット分類結果に優れており,従来の先行手法よりも2.19%精度が向上している。
  論文  参考訳（メタデータ） (2024-05-26T14:50:40Z)
• FairerCLIP: Debiasing CLIP's Zero-Shot Predictions using Functions in RKHSs [24.991684983495542]
  本稿では,CLIPのゼロショット予測をより公平かつ堅牢に行うための一般手法であるFairerCLIPを提案する。 ヒルベルト核空間(RKHS)の再生において,CLIPのイメージとテキスト表現を両立させる問題を定式化する。
  論文  参考訳（メタデータ） (2024-03-22T19:41:26Z)
• VadCLIP: Adapting Vision-Language Models for Weakly Supervised Video Anomaly Detection [58.47940430618352]
  弱教師付きビデオ異常検出(WSVAD)のための新しいパラダイムであるVadCLIPを提案する。 VadCLIPは、CLIPの強度に関する視覚と言語の間のきめ細かい関連をフル活用している。 本稿では,VadCLIPが粗粒度および細粒度 WSVAD の両面において最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-08-22T14:58:36Z)
• CLIP-guided Prototype Modulating for Few-shot Action Recognition [49.11385095278407]
  この研究は、CLIPの強力なマルチモーダル知識を伝達して、不正確なプロトタイプ推定問題を緩和することを目的としている。 本稿では,CLIP-FSAR(CLIP-FSAR)と呼ばれるCLIP誘導型プロトタイプ変調フレームワークについて述べる。
  論文  参考訳（メタデータ） (2023-03-06T09:17:47Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• ReCLIP: A Strong Zero-Shot Baseline for Referring Expression Comprehension [114.85628613911713]
  大規模事前学習モデルは領域間の画像分類に有用である。 ReCLIPは単純だが強力なゼロショットベースラインであり、ReCのための最先端の大規模モデルであるCLIPを再利用する。
  論文  参考訳（メタデータ） (2022-04-12T17:55:38Z)
• One-Shot Adaptation of GAN in Just One CLIP [51.188396199083336]
  本稿では,CLIP空間を統一した単一ショットGAN適応方式を提案する。 具体的には、CLIP誘導潜在最適化を用いて、ソースジェネレータ内の参照画像検索という2段階のトレーニング戦略を採用する。 対象のテクスチャで多様な出力を生成し,質的かつ定量的にベースラインモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T13:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。