論文の概要: Instructing Prompt-to-Prompt Generation for Zero-Shot Learning

• arxiv url: http://arxiv.org/abs/2406.03032v1
• Date: Wed, 5 Jun 2024 07:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:29:27.254789
• Title: Instructing Prompt-to-Prompt Generation for Zero-Shot Learning
• Title（参考訳）: ゼロショット学習のためのプロンプト・ツー・プロンプト生成の指導
• Authors: Man Liu, Huihui Bai, Feng Li, Chunjie Zhang, Yunchao Wei, Meng Wang, Tat-Seng Chua, Yao Zhao,
• Abstract要約: 伝達可能な知識発見のための指導的視覚的プロンプトを蒸留するためのtextbfPrompt-to-textbfPrompt 生成手法 (textbfP2P) を提案する。 P2Pのコアとなるのは、アクセシブル条件付き視覚特徴と、モーダル共有セマンティック概念に関するテキスト命令からセマンティック関連命令をマイニングすることである。
• 参考スコア（独自算出の注目度）: 116.33775552866476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot learning (ZSL) aims to explore the semantic-visual interactions to discover comprehensive knowledge transferred from seen categories to classify unseen categories. Recently, prompt engineering has emerged in ZSL, demonstrating impressive potential as it enables the zero-shot transfer of diverse visual concepts to downstream tasks. However, these methods are still not well generalized to broad unseen domains. A key reason is that the fixed adaption of learnable prompts on seen domains makes it tend to over-emphasize the primary visual features observed during training. In this work, we propose a \textbf{P}rompt-to-\textbf{P}rompt generation methodology (\textbf{P2P}), which addresses this issue by further embracing the instruction-following technique to distill instructive visual prompts for comprehensive transferable knowledge discovery. The core of P2P is to mine semantic-related instruction from prompt-conditioned visual features and text instruction on modal-sharing semantic concepts and then inversely rectify the visual representations with the guidance of the learned instruction prompts. This enforces the compensation for missing visual details to primary contexts and further eliminates the cross-modal disparity, endowing unseen domain generalization. Through extensive experimental results, we demonstrate the efficacy of P2P in achieving superior performance over state-of-the-art methods.
• Abstract（参考訳）: ゼロショット学習(ZSL)は、目に見えないカテゴリを分類するために、目に見えないカテゴリから移行した包括的知識を発見するために、意味と視覚の相互作用を探索することを目的としている。 近年、ZSLでは、多様な視覚概念を下流タスクにゼロショットで転送できるなど、迅速なエンジニアリングが実現している。 しかし、これらの方法はまだ広く見えない領域に対して十分に一般化されていない。 主な理由は、学習可能なプロンプトが学習時に観察される主要な視覚的特徴を過度に強調する傾向があるためである。 本稿では, 包括的伝達可能な知識発見のために, 命令追従手法を更に取り入れることで, この問題に対処する。 P2Pのコアとなるのは、アクセシブル条件付き視覚特徴とモーダル共有セマンティック概念に関するテキスト命令からセマンティック関連インストラクションを抽出し、学習したインストラクションプロンプトのガイダンスで視覚表現を逆修正することである。 これにより、視覚的詳細の欠如に対する補償が一次文脈に課せられ、また、目に見えない領域の一般化によって、モデアルの相違が解消される。 実験により,P2Pが最先端手法よりも優れた性能を発揮することを示す。

関連論文リスト

• Dual Relation Mining Network for Zero-Shot Learning [48.89161627050706]
  本稿では,効果的な視覚・意味的相互作用を実現し,知識伝達のための属性間の意味的関係を学習するためのDual Relation Mining Network(DRMN)を提案する。 具体的には,多層的特徴融合により視覚情報を強化する視覚・意味的関係マイニングのためのデュアルアテンションブロック(DAB)を提案する。 セマンティック・インタラクション・トランスフォーマ(SIT)を用いて画像間の属性表現の一般化を促進する。
  論文  参考訳（メタデータ） (2024-05-06T16:31:19Z)
• CREST: Cross-modal Resonance through Evidential Deep Learning for Enhanced Zero-Shot Learning [48.46511584490582]
  ゼロショット学習(ZSL)は、既知のカテゴリから未知のカテゴリへのセマンティックな知識伝達を活用することで、新しいクラスの認識を可能にする。 分布不均衡や属性共起といった現実世界の課題は、画像の局所的なばらつきの識別を妨げる。 これらの課題を克服するために、双方向のクロスモーダルZSLアプローチCRESTを提案する。
  論文  参考訳（メタデータ） (2024-04-15T10:19:39Z)
• Progressive Semantic-Guided Vision Transformer for Zero-Shot Learning [56.65891462413187]
  ゼロショット学習のためのプログレッシブセマンティック誘導型視覚変換器(ZSLViT)を提案する。 ZSLViTは、まずセマンティック・エンベッドド・トークン・ラーニングを導入し、セマンティック・エンハンスメントを通じて視覚・セマンティック対応を改善する。 そして,視覚的強調のために,意味的無関係な視覚情報を捨てるために,低意味的・視覚的対応型視覚トークンを融合する。
  論文  参考訳（メタデータ） (2024-04-11T12:59:38Z)
• Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models [64.24227572048075]
  本稿では,視覚言語モデルのためのKnowledge-Aware Prompt Tuning(KAPT)フレームワークを提案する。 我々のアプローチは、人間の知性からインスピレーションを得ており、外部知識は、通常、オブジェクトの新たなカテゴリを認識するために組み込まれています。
  論文  参考訳（メタデータ） (2023-08-22T04:24:45Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
  我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。 我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。 実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
  論文  参考訳（メタデータ） (2022-05-03T17:39:27Z)
• MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning [28.330268557106912]
  ゼロショット学習(ZSL)の主な課題は、視覚的特徴と属性的特徴の間に潜む意味的知識を、どのように推測するかである。 本稿では,視覚的特徴と属性的特徴の間の固有意味表現を段階的に蒸留する,MSDN(Mtually Semantic Distillation Network)を提案する。
  論文  参考訳（メタデータ） (2022-03-07T05:27:08Z)
• Zero-Shot Learning Based on Knowledge Sharing [0.0]
  Zero-Shot Learning(ZSL)は、ごくわずかなトレーニングデータで分類問題を解決することを目的とした新しい研究です。 本稿では,意味的特徴の表現を充実させるために,知識共有(KS)を導入する。 KSをベースとして,実際の視覚特徴に非常に近い意味的特徴から擬似視覚特徴を生成するために,生成的対向ネットワークを適用した。
  論文  参考訳（メタデータ） (2021-02-26T06:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。