論文の概要: TNG-CLIP:Training-Time Negation Data Generation for Negation Awareness of CLIP

• arxiv url: http://arxiv.org/abs/2505.18434v1
• Date: Sat, 24 May 2025 00:02:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.420473
• Title: TNG-CLIP:Training-Time Negation Data Generation for Negation Awareness of CLIP
• Title（参考訳）: TNG-CLIP:CLIPの否定認識のための学習時間否定データ生成
• Authors: Yuliang Cai, Jesse Thomason, Mohammad Rostami,
• Abstract要約: 視覚言語モデル(VLM)のための訓練時間否定データ生成パイプラインを導入する。 否定を含むプロンプト上でのテキスト・画像生成モデル評価のための最初のベンチマークNeg-TtoIを提案する。 提案手法であるTNG-CLIPは,画像対テキストマッチング,テキスト対画像検索,画像生成の様々な否定ベンチマークにおいてSOTA性能を実現する。
• 参考スコア（独自算出の注目度）: 27.33315565500182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs), such as CLIP, have demonstrated strong performance across a range of downstream tasks. However, CLIP is still limited in negation understanding: the ability to recognize the absence or exclusion of a concept. Existing methods address the problem by using a large language model (LLM) to generate large-scale data of image captions containing negation for further fine-tuning CLIP. However, these methods are both time- and compute-intensive, and their evaluations are typically restricted to image-text matching tasks. To expand the horizon, we (1) introduce a training-time negation data generation pipeline such that negation captions are generated during the training stage, which only increases 2.5% extra training time, and (2) we propose the first benchmark, Neg-TtoI, for evaluating text-to-image generation models on prompts containing negation, assessing model's ability to produce semantically accurate images. We show that our proposed method, TNG-CLIP, achieves SOTA performance on diverse negation benchmarks of image-to-text matching, text-to-image retrieval, and image generation.
• Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は、ダウンストリームタスクの範囲で強力なパフォーマンスを示している。 しかし、CLIPは否定的理解(概念の欠如や排除を認識する能力)に制限されている。 既存の手法では,大規模な言語モデル(LLM)を用いて否定を含む画像キャプションの大規模データを生成し,さらなる微調整を行う。 しかしながら、これらの手法は時間と計算集約的であり、その評価は通常、画像テキストマッチングタスクに限定される。 地平線を拡大するため,(1)トレーニング期間中に否定キャプションを生成できるトレーニング時否定データ生成パイプラインを導入し,トレーニング期間中に2.5%余分なトレーニング時間を増大させるとともに,第1のベンチマークであるNeg-TtoIを提案し,否定を含むプロンプトに基づいてテキスト・ツー・イメージ生成モデルの評価を行い,モデルが意味論的に正確な画像を生成する能力を評価する。 提案手法であるTNG-CLIPは,画像対テキストマッチング,テキスト対画像検索,画像生成の様々な否定ベンチマークにおいてSOTA性能を実現する。

関連論文リスト

• QLIP: Text-Aligned Visual Tokenization Unifies Auto-Regressive Multimodal Understanding and Generation [101.28446308930367]
  Quantized Language-Image Pretraining (QLIP)は、最先端の再構築品質と最先端のゼロショットイメージ理解を組み合わせたものだ。 QLIPは、リコンストラクションと言語イメージアライメントの目的を備えた、二進数量子化に基づくオートエンコーダをトレーニングする。 QLIPは、理解と生成のための複合モダリティ自動回帰モデルを可能にすることを実証する。
  論文  参考訳（メタデータ） (2025-02-07T18:59:57Z)
• TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives [65.82577305915643]
  Contrastive Language-Image Pretraining (CLIP) モデルは、表現を学ぶためにテキストと視覚的モダリティ間の相互情報を最大化する。 そこで本研究では,テキスト・ツー・イメージ・ジェネレータを用いて,文脈内学習による「ハード」の負の字幕生成と,それに対応する負のイメージ生成が解となることを示す。 提案手法はTripletCLIPと呼ばれ,CLIPの構成能力を向上し,SugarCrepeベンチマークでは9%以上向上した。
  論文  参考訳（メタデータ） (2024-11-04T19:24:59Z)
• Learn "No" to Say "Yes" Better: Improving Vision-Language Models via Negations [43.484570564890866]
  既存の視覚言語モデル(VLM)は、テキスト記述を単位として扱い、個々の概念をプロンプトで混乱させる。 CC-Negは,228,246のイメージ,真のキャプション,それに対応する否定的なキャプションを含むデータセットである。 提案するCoN-CLIPフレームワークであるCLIPの対照的な損失に対する修正とともにCC-Negを用いることで,否定の理解が向上した。
  論文  参考訳（メタデータ） (2024-03-29T17:33:42Z)
• DisCLIP: Open-Vocabulary Referring Expression Generation [37.789850573203694]
  大規模ビジュアル・セマンティック・モデルであるCLIPを用いてLCMを誘導し、画像中のターゲット概念の文脈記述を生成する。 本研究では、シーン内の記述対象を正確に識別する受信機モデルの能力を評価することにより、生成されたテキストの品質を測定する。 本結果は,事前学習した視覚意味論モデルを用いて,高品質な文脈記述を生成する可能性を強調した。
  論文  参考訳（メタデータ） (2023-05-30T15:13:17Z)
• Teaching CLIP to Count to Ten [18.703050317383322]
  大規模視覚言語モデル(VLM)の定量的理解を改善するための,シンプルで効果的な手法を提案する。 そこで本研究では,既存のVLMを本来の目的に合わせて微調整するために,新たな計数コントラスト損失を提案する。 私たちの知る限りでは、この作業はCLIPの機能をオブジェクトカウントに拡張した最初のものです。
  論文  参考訳（メタデータ） (2023-02-23T14:43:53Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Is a Caption Worth a Thousand Images? A Controlled Study for Representation Learning [88.5382122413913]
  本研究では,従来の画像のみの手法よりも伝達可能な表現を持つ視覚モデルが得られるかを検討した。 画像のみの手法は、より多くの画像データでトレーニングされた場合でも、CLIPの転送性能と一致しないことがわかった。 この結果から,CLIPが既存の事前学習データセットに存在する言語情報を活用できるように,シンプルな処方薬を考案した。
  論文  参考訳（メタデータ） (2022-07-15T17:50:51Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。