論文の概要: Contrastive Language-Image Pre-Training with Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2210.08901v1
• Date: Mon, 17 Oct 2022 09:49:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 19:47:50.486692
• Title: Contrastive Language-Image Pre-Training with Knowledge Graphs
• Title（参考訳）: 知識グラフを用いたコントラスト言語画像事前学習
• Authors: Xuran Pan, Tianzhu Ye, Dongchen Han, Shiji Song, Gao Huang
• Abstract要約: 本稿では,CLIPモデルに意味情報を注入する知識ベース事前学習フレームワークであるKnowledge-CLIPを提案する。 我々のモデルは、視覚と言語の表現を高い品質で意味的に整合させ、シナリオやモダリティを越えて推論能力を高めることができる。
• 参考スコア（独自算出の注目度）: 33.211811772961234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed the fast development of large-scale pre-training frameworks that can extract multi-modal representations in a unified form and achieve promising performances when transferred to downstream tasks. Nevertheless, existing approaches mainly focus on pre-training with simple image-text pairs, while neglecting the semantic connections between concepts from different modalities. In this paper, we propose a knowledge-based pre-training framework, dubbed Knowledge-CLIP, which injects semantic information into the widely used CLIP model. Through introducing knowledge-based objectives in the pre-training process and utilizing different types of knowledge graphs as training data, our model can semantically align the representations in vision and language with higher quality, and enhance the reasoning ability across scenarios and modalities. Extensive experiments on various vision-language downstream tasks demonstrate the effectiveness of Knowledge-CLIP compared with the original CLIP and competitive baselines.
• Abstract（参考訳）: 近年,マルチモーダル表現を統一形式で抽出し,下流タスクに転送する際の有望なパフォーマンスを実現する大規模事前学習フレームワークの開発が急速に進んでいる。 それにもかかわらず、既存のアプローチは主に単純な画像とテキストのペアによる事前学習に重点を置いている。 本稿では,CLIPモデルに意味情報を注入する知識ベース事前学習フレームワークであるKnowledge-CLIPを提案する。 事前学習プロセスに知識に基づく目標を導入し,さまざまなタイプの知識グラフをトレーニングデータとして活用することにより,視覚表現と言語表現をより高い品質で意味的に調整し,シナリオとモダリティをまたいだ推論能力を向上させる。 様々な視覚言語によるダウンストリームタスクに対する大規模な実験は、元のCLIPや競合ベースラインと比較して知識CLIPの有効性を示している。

関連論文リスト

• Concept-Guided Prompt Learning for Generalization in Vision-Language Models [33.361744437967126]
  視覚言語モデルのための概念ガイド型プロンプト学習を提案する。 Contrastive Language-Image Pretrainingの知識を活用して、ビジュアルコンセプトキャッシュを作成します。 テキスト特徴を洗練させるために,多段階の視覚特徴をテキスト特徴に変換するプロジェクタを開発する。
  論文  参考訳（メタデータ） (2024-01-15T04:04:47Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• CLAP: Isolating Content from Style through Contrastive Learning with Augmented Prompts [11.752632557524969]
  コンテンツの特徴を元の表現から切り離すために,データ拡張によるコントラスト学習を提案する。 多様なデータセットを対象とした実験では、ゼロショットと少数ショットの分類タスクが大幅に改善された。
  論文  参考訳（メタデータ） (2023-11-28T03:00:59Z)
• Understanding Transferable Representation Learning and Zero-shot Transfer in CLIP [84.90129481336659]
  CLIPの基盤となるトランスファーブル表現学習について検討し、異なるモダリティの特徴の整合性を実証する。 そこで本研究では,ベンチマークデータセット上でのCLIPや他の最先端手法よりも優れた性能を実現するCLIP型アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:41:30Z)
• Retrieval-based Knowledge Augmented Vision Language Pre-training [9.779887832992435]
  知識強化事前学習の主な課題は、知識とマルチモーダルデータの間の明確なつながりの欠如である。 本研究では,Retrieval-based knowledge Augmented Vision Language (REAVL)を提案する。 本稿では,知識とマルチモーダルデータとの対応性を効果的に確立する知識認識型自己教師型学習手法を初めて導入する。
  論文  参考訳（メタデータ） (2023-04-27T02:23:47Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Collaboration of Pre-trained Models Makes Better Few-shot Learner [49.89134194181042]
  少ないショット分類では、限られた訓練画像からのみ、一般化された表現を学習するために、ディープニューラルネットワークが必要である。 最近、CLIPベースの手法は、対照的な言語イメージ事前トレーニングの恩恵を受け、有望な数ショットのパフォーマンスを示している。 我々は,様々な事前学習パラダイムから様々な事前知識を取り入れた事前学習モデルのコラボレーションであるCoMoを提案する。
  論文  参考訳（メタデータ） (2022-09-25T16:23:12Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。