論文の概要: Know "No" Better: A Data-Driven Approach for Enhancing Negation Awareness in CLIP

• arxiv url: http://arxiv.org/abs/2501.10913v1
• Date: Sun, 19 Jan 2025 01:17:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:37.161390
• Title: Know "No" Better: A Data-Driven Approach for Enhancing Negation Awareness in CLIP
• Title（参考訳）: Know "No" Better: CLIPにおける否定認識の強化のためのデータ駆動アプローチ
• Authors: Junsung Park, Jungbeom Lee, Jongyoon Song, Sangwon Yu, Dahuin Jung, Sungroh Yoon,
• Abstract要約: 本稿では,大言語モデル(LLM)と多モーダルLLMを用いたデータ生成パイプラインを導入し,否定を包含するキャプションを生成する。 パイプラインから生成したデータを微調整したCLIPを用いて,一般性を維持しつつ否定意識を高めるNegationCLIPを開発した。 さまざまなCLIPアーキテクチャの実験は、CLIPの否定を正確に認識する能力を向上する上で、データ生成パイプラインの有効性を検証する。
• 参考スコア（独自算出の注目度）: 38.17750132434983
• License:
• Abstract: While CLIP has significantly advanced multimodal understanding by bridging vision and language, the inability to grasp negation - such as failing to differentiate concepts like "parking" from "no parking" - poses substantial challenges. By analyzing the data used in the public CLIP model's pre-training, we posit this limitation stems from a lack of negation-inclusive data. To address this, we introduce data generation pipelines that employ a large language model (LLM) and a multimodal LLM to produce negation-inclusive captions. Fine-tuning CLIP with data generated from our pipelines, we develop NegationCLIP, which enhances negation awareness while preserving the generality. Moreover, to enable a comprehensive evaluation of negation understanding, we propose NegRefCOCOg-a benchmark tailored to test VLMs' ability to interpret negation across diverse expressions and positions within a sentence. Experiments on various CLIP architectures validate the effectiveness of our data generation pipelines in enhancing CLIP's ability to perceive negation accurately. Additionally, NegationCLIP's enhanced negation awareness has practical applications across various multimodal tasks, demonstrated by performance gains in text-to-image generation and referring image segmentation.
• Abstract（参考訳）: CLIPは、視覚と言語をブリッジすることで、非常に高度なマルチモーダル理解を実現しているが、"駐車禁止"のような概念と"駐車禁止"といった概念を区別できないような、否定を把握できないことが、重大な課題となっている。 パブリックCLIPモデルの事前トレーニングで使用されるデータを分析することで、この制限は否定包摂的データの欠如に起因すると仮定する。 そこで我々は,大言語モデル(LLM)と多モーダルLLMを用いたデータ生成パイプラインを導入し,否定を含まないキャプションを生成する。 パイプラインから生成したデータを微調整したCLIPを用いて,一般性を維持しつつ否定意識を高めるNegationCLIPを開発した。 さらに,否定理解の包括的評価を可能にするために,VLMが文中の様々な表現や位置で否定を解釈する能力をテストするために,NegRefCOCOg-aベンチマークを提案する。 さまざまなCLIPアーキテクチャの実験は、CLIPの否定を正確に認識する能力を向上する上で、データ生成パイプラインの有効性を検証する。 さらに、NegationCLIPの強化された否定認識は、テキスト・ツー・イメージ生成と参照画像セグメンテーションのパフォーマンス向上によって実証された、様々なマルチモーダルタスクにまたがる実践的応用を有する。

関連論文リスト

• Vision-Language Models Do Not Understand Negation [50.27667000027403]
  NegBenchは、イメージ、ビデオ、医療データセットにまたがる18のタスクのバリエーションと79kのサンプルに対する否定的理解を評価するために設計されたベンチマークである。 提案手法は, 否定的クエリに対するリコールが10%増加し, 否定的キャプションによる複数質問に対する精度が40%向上することを示す。
  論文  参考訳（メタデータ） (2025-01-16T09:55:42Z)
• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Learn "No" to Say "Yes" Better: Improving Vision-Language Models via Negations [43.484570564890866]
  既存の視覚言語モデル(VLM)は、テキスト記述を単位として扱い、個々の概念をプロンプトで混乱させる。 CC-Negは,228,246のイメージ,真のキャプション,それに対応する否定的なキャプションを含むデータセットである。 提案するCoN-CLIPフレームワークであるCLIPの対照的な損失に対する修正とともにCC-Negを用いることで,否定の理解が向上した。
  論文  参考訳（メタデータ） (2024-03-29T17:33:42Z)
• This is not a Dataset: A Large Negation Benchmark to Challenge Large Language Models [4.017326849033009]
  我々は,否定を理解する大規模言語モデルの最適部分性能の理由を明らかにする。 我々は,コモンセンス知識に関する40万前後の記述文を半自動生成する大規模データセットを提案する。 我々は,その一般化と推論能力を把握するために,ゼロショットアプローチで利用可能な最大オープンLCMを用いてデータセットを構築した。
  論文  参考訳（メタデータ） (2023-10-24T15:38:21Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
  従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。 そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の 総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-07-04T13:51:29Z)
• Improving negation detection with negation-focused pre-training [58.32362243122714]
  否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。 最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。 本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-09T02:41:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。