論文の概要: FLIER: Few-shot Language Image Models Embedded with Latent Representations

• arxiv url: http://arxiv.org/abs/2410.07648v1
• Date: Thu, 10 Oct 2024 06:27:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 15:46:26.779804
• Title: FLIER: Few-shot Language Image Models Embedded with Latent Representations
• Title（参考訳）: FLIER: 潜在表現を組み込んだ少数ショット言語画像モデル
• Authors: Zhinuo Zhou, Peng Zhou, Xiaoyong Pan,
• Abstract要約: 画像認識のための潜在表現(FLIER)を組み込んだFew-shot Language Image Model。 まず、GPT-3からのテキスト入力で、安定拡散による画像とそれに対応する潜在表現を生成する。 潜在表現を「モデル理解可能なピクセル」として、2つの畳み込み層を持つ柔軟な畳み込みニューラルネットワークを導入し、潜り込みエンコーダとする。
• 参考スコア（独自算出の注目度）: 2.443383032451177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the boosting development of large vision-language models like Contrastive Language-Image Pre-training (CLIP), many CLIP-like methods have shown impressive abilities on visual recognition, especially in low-data regimes scenes. However, we have noticed that most of these methods are limited to introducing new modifications on text and image encoder. Recently, latent diffusion models (LDMs) have shown good ability on image generation. The potent capabilities of LDMs direct our focus towards the latent representations sampled by UNet. Inspired by the conjecture in CoOp that learned prompts encode meanings beyond the existing vocabulary, we assume that, for deep models, the latent representations are concise and accurate understanding of images, in which high-frequency, imperceptible details are abstracted away. In this paper, we propose a Few-shot Language Image model Embedded with latent Representations (FLIER) for image recognition by introducing a latent encoder jointly trained with CLIP's image encoder, it incorporates pre-trained vision-language knowledge of CLIP and the latent representations from Stable Diffusion. We first generate images and corresponding latent representations via Stable Diffusion with the textual inputs from GPT-3. With latent representations as "models-understandable pixels", we introduce a flexible convolutional neural network with two convolutional layers to be the latent encoder, which is simpler than most encoders in vision-language models. The latent encoder is jointly trained with CLIP's image encoder, transferring pre-trained knowledge to downstream tasks better. Experiments and extensive ablation studies on various visual classification tasks demonstrate that FLIER performs state-of-the-art on 11 datasets for most few-shot classification.
• Abstract（参考訳）: Contrastive Language-Image Pre-training (CLIP)のような大きな視覚言語モデルの開発が加速するにつれ、多くのCLIPライクな手法が視覚認識、特に低データレシージャシーンにおいて顕著な能力を示している。 しかし、これらの手法のほとんどは、テキストと画像エンコーダに新しい修正を加えることに限定されていることに気づきました。 近年,遅延拡散モデル (LDM) は画像生成に優れた能力を示している。 LDMの強力な能力は、UNetによってサンプリングされた潜在表現に焦点を向けます。 既存の語彙を超えた意味をエンコードするプロンプトを学習したCoOpの予想に触発されて、深いモデルでは、潜伏表現は簡潔で正確なイメージ理解であり、高周波で知覚不能な詳細が抽象化されていると仮定する。 本稿では,CLIPのイメージエンコーダで訓練された潜時エンコーダを導入し,CLIPの事前学習された視覚言語知識と安定拡散からの潜時表現を組み込むことにより,画像認識に潜時表現(FLIER)を組み込んだFew-shot Language Image Modelを提案する。 まず、GPT-3からのテキスト入力で、安定拡散による画像とそれに対応する潜在表現を生成する。 潜在表現を「モデル理解可能なピクセル」として、2つの畳み込み層を持つ柔軟な畳み込みニューラルネットワークを導入する。 潜在エンコーダはCLIPのイメージエンコーダと共同でトレーニングされており、トレーニング済みの知識を下流タスクに転送する。 様々な視覚的分類タスクの実験と広範囲にわたるアブレーション研究は、FLIERが11のデータセットに対して最先端の処理を行い、ほとんど数発の分類を行うことを示した。

関連論文リスト

• CLIP-SCGI: Synthesized Caption-Guided Inversion for Person Re-Identification [9.996589403019675]
  person re-identification (ReID) は Contrastive Language-Image Pre-Training (CLIP) のような大規模な事前訓練された視覚言語モデルの恩恵を受けている。 本稿では、既存の画像キャプションモデルを利用して人物画像の擬似キャプションを生成する方法を提案する。 CLIP-SCGI(CLIP-SCGI)は、合成キャプションを利用して、差別的・堅牢な表現の学習をガイドするフレームワークである。
  論文  参考訳（メタデータ） (2024-10-12T06:24:33Z)
• UNIT: Unifying Image and Text Recognition in One Vision Encoder [51.140564856352825]
  UNITは、単一のモデル内で画像とテキストの認識を統一することを目的とした、新しいトレーニングフレームワークである。 文書関連タスクにおいて,UNITが既存の手法を著しく上回ることを示す。 注目すべきなのは、UNITはオリジナルのビジョンエンコーダアーキテクチャを保持しており、推論とデプロイメントの点で費用がかからないことだ。
  論文  参考訳（メタデータ） (2024-09-06T08:02:43Z)
• Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
  PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。 認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
  論文  参考訳（メタデータ） (2024-02-28T06:07:07Z)
• LightCLIP: Learning Multi-Level Interaction for Lightweight Vision-Language Models [45.672539931681065]
  軽量CLIPモデルのトレーニングのためのマルチレベルインタラクションパラダイムを提案する。 マスク付きテキスト埋め込みに非マスク画像の埋め込みを注入する補助融合モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-01T15:54:55Z)
• Few-shot Action Recognition with Captioning Foundation Models [61.40271046233581]
  CapFSARは、テキストを手動でアノテートすることなく、マルチモーダルモデルの知識を利用するフレームワークである。 Transformerをベースとしたビジュアルテキストアグリゲーションモジュールはさらに、モーダル時間間の補完情報を組み込むように設計されている。 複数の標準的な数ショットベンチマークの実験では、提案したCapFSARが既存の手法に対して好適に動作することを示した。
  論文  参考訳（メタデータ） (2023-10-16T07:08:39Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
  VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。 本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
  論文  参考訳（メタデータ） (2023-03-03T18:59:47Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• Hierarchical Text-Conditional Image Generation with CLIP Latents [20.476720970770128]
  画像表現を明示的に生成することで、フォトリアリズムとキャプションの類似性が最小限に抑えられ、画像の多様性が向上することを示す。 画像表現に条件付けされたデコーダは、その意味とスタイルの両方を保存した画像のバリエーションを生成できる。
  論文  参考訳（メタデータ） (2022-04-13T01:10:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。