論文の概要: Harnessing Diffusion Models for Visual Perception with Meta Prompts

• arxiv url: http://arxiv.org/abs/2312.14733v1
• Date: Fri, 22 Dec 2023 14:40:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 14:39:16.790801
• Title: Harnessing Diffusion Models for Visual Perception with Meta Prompts
• Title（参考訳）: メタプロンプトを用いた視覚知覚のための高調波拡散モデル
• Authors: Qiang Wan, Zilong Huang, Bingyi Kang, Jiashi Feng, Li Zhang
• Abstract要約: 本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
• 参考スコア（独自算出の注目度）: 68.78938846041767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The issue of generative pretraining for vision models has persisted as a long-standing conundrum. At present, the text-to-image (T2I) diffusion model demonstrates remarkable proficiency in generating high-definition images matching textual inputs, a feat made possible through its pre-training on large-scale image-text pairs. This leads to a natural inquiry: can diffusion models be utilized to tackle visual perception tasks? In this paper, we propose a simple yet effective scheme to harness a diffusion model for visual perception tasks. Our key insight is to introduce learnable embeddings (meta prompts) to the pre-trained diffusion models to extract proper features for perception. The effect of meta prompts are two-fold. First, as a direct replacement of the text embeddings in the T2I models, it can activate task-relevant features during feature extraction. Second, it will be used to re-arrange the extracted features to ensures that the model focuses on the most pertinent features for the task on hand. Additionally, we design a recurrent refinement training strategy that fully leverages the property of diffusion models, thereby yielding stronger visual features. Extensive experiments across various benchmarks validate the effectiveness of our approach. Our approach achieves new performance records in depth estimation tasks on NYU depth V2 and KITTI, and in semantic segmentation task on CityScapes. Concurrently, the proposed method attains results comparable to the current state-of-the-art in semantic segmentation on ADE20K and pose estimation on COCO datasets, further exemplifying its robustness and versatility.
• Abstract（参考訳）: 視覚モデルの生成的前訓練の問題は、長年の余波として続いている。 現在,テキスト・ツー・イメージ(t2i)拡散モデルは,テキスト入力にマッチする高精細な画像を生成するための優れた習熟度を示す。 拡散モデルを使用して視覚的知覚タスクに取り組むことができるか? 本稿では,視覚知覚タスクにおける拡散モデルを利用した簡易かつ効果的なスキームを提案する。 我々の重要な洞察は、学習可能な埋め込み(メタプロンプト)を事前訓練された拡散モデルに導入し、知覚のための適切な特徴を抽出することである。 メタプロンプトの効果は2倍である。 まず、T2Iモデルのテキスト埋め込みを直接置き換えることで、特徴抽出中にタスク関連機能を活性化することができる。 第二に、抽出された機能を再配置して、モデルがタスクの最も関連する機能に集中することを保証するために使用される。 さらに,拡散モデルの性質をフル活用し,より強力な視覚的特徴をもたらす再帰的改善訓練戦略を設計する。 様々なベンチマークにわたる大規模な実験により、我々のアプローチの有効性が検証された。 提案手法は,NYU深度V2およびKITTIの深度推定タスクとCityScapesのセマンティックセグメンテーションタスクにおいて,新たな性能記録を実現する。 同時に,提案手法は,ade20kにおける意味セグメンテーションやcocoデータセットにおけるポーズ推定に匹敵する結果を得るとともに,そのロバスト性と汎用性を示す。

関連論文リスト

• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Text-to-Image Diffusion Models are Great Sketch-Photo Matchmakers [120.49126407479717]
  本稿では,ゼロショットスケッチに基づく画像検索(ZS-SBIR)のためのテキスト・画像拡散モデルについて検討する。 スケッチと写真の間のギャップをシームレスに埋めるテキストと画像の拡散モデルの能力。
  論文  参考訳（メタデータ） (2024-03-12T00:02:03Z)
• What Matters When Repurposing Diffusion Models for General Dense Perception Tasks? [49.84679952948808]
  最近の研究は、高密度知覚タスクのためのT2I拡散モデルを簡単に調整することで有望な結果を示す。 拡散前処理における伝達効率と性能に影響を及ぼす重要な要因を徹底的に検討する。 我々の研究は、濃密な視覚認知タスクに特化した効果的な決定論的ワンステップ微調整パラダイムであるGenPerceptの開発において頂点に達した。
  論文  参考訳（メタデータ） (2024-03-10T04:23:24Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• Generative Model-based Feature Knowledge Distillation for Action Recognition [11.31068233536815]
  本稿では,軽量学生モデルの学習のための生成モデルを用いた,革新的な知識蒸留フレームワークについて紹介する。 提案手法の有効性は,多種多様な人気データセットに対する総合的な実験によって実証される。
  論文  参考訳（メタデータ） (2023-12-14T03:55:29Z)
• VS-TransGRU: A Novel Transformer-GRU-based Framework Enhanced by Visual-Semantic Fusion for Egocentric Action Anticipation [33.41226268323332]
  エゴセントリックなアクション予測は、一人称視点で将来のアクションを先進的に予測することを目的とした課題である。 既存のほとんどの手法は、視覚入力とリカレントニューラルネットワークに基づくモデルアーキテクチャと損失関数の改善に重点を置いている。 本稿では,新しいビジュアル・セマンティック融合とトランスフォーマーGRUに基づくアクション予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-08T06:49:54Z)
• Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
  VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。 本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
  論文  参考訳（メタデータ） (2023-03-03T18:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。