論文の概要: Supporting Vision-Language Model Inference with Causality-pruning Knowledge Prompt

• arxiv url: http://arxiv.org/abs/2205.11100v1
• Date: Mon, 23 May 2022 07:51:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 18:10:59.351135
• Title: Supporting Vision-Language Model Inference with Causality-pruning Knowledge Prompt
• Title（参考訳）: 因果解析による視覚言語モデル推論支援
• Authors: Jiangmeng Li, Wenyi Mo, Wenwen Qiang, Bing Su, Changwen Zheng
• Abstract要約: 本稿では,事前学習された視覚言語モデルを下流画像認識に適応させるために,Causality-pruning Knowledge Prompt (CapKP)を提案する。 CapKPは、テキストラベルをクエリとして扱い、タスク関連セマンティック情報を探索することで、存在論的知識グラフを検索する。
• 参考スコア（独自算出の注目度）: 15.591922602789758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models are pre-trained by aligning image-text pairs in a common space so that the models can deal with open-set visual concepts by learning semantic information from textual labels. To boost the transferability of these models on downstream tasks in a zero-shot manner, recent works explore generating fixed or learnable prompts, i.e., classification weights are synthesized from natural language describing task-relevant categories, to reduce the gap between tasks in the training and test phases. However, how and what prompts can improve inference performance remains unclear. In this paper, we explicitly provide exploration and clarify the importance of including semantic information in prompts, while existing prompt methods generate prompts without exploring the semantic information of textual labels. A challenging issue is that manually constructing prompts, with rich semantic information, requires domain expertise and is extremely time-consuming. To this end, we propose Causality-pruning Knowledge Prompt (CapKP) for adapting pre-trained vision-language models to downstream image recognition. CapKP retrieves an ontological knowledge graph by treating the textual label as a query to explore task-relevant semantic information. To further refine the derived semantic information, CapKP introduces causality-pruning by following the first principle of Granger causality. Empirically, we conduct extensive evaluations to demonstrate the effectiveness of CapKP, e.g., with 8 shots, CapKP outperforms the manual-prompt method by 12.51% and the learnable-prompt method by 1.39% on average, respectively. Experimental analyses prove the superiority of CapKP in domain generalization compared to benchmark approaches.
• Abstract（参考訳）: ビジョン言語モデルは、画像とテキストのペアを共通の空間に整列させて、テキストラベルから意味情報を学習することで、オープンセットの視覚概念を扱えるように事前訓練される。 下流タスクにおけるこれらのモデルの転送可能性を高めるため、近年の研究では、タスク関連カテゴリを記述した自然言語から分類重みを合成し、トレーニングとテストフェーズにおけるタスク間のギャップを減らし、固定または学習可能なプロンプトを生成する方法が検討されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは不明だ。 本稿では,既存のプロンプト手法がテキストラベルのセマンティック情報を探さずにプロンプトを生成するのに対して,意味情報をプロンプトに含めることの重要性を明らかにする。 難しいのは、複雑なセマンティック情報を持つプロンプトを手作業で構築する場合、ドメインの専門知識が必要で、非常に時間がかかります。 そこで我々は,事前学習された視覚言語モデルを下流画像認識に適用するためのCausality-pruning Knowledge Prompt (CapKP)を提案する。 CapKPは、テキストラベルをクエリとして扱い、タスク関連セマンティック情報を探索することで、存在論的知識グラフを検索する。 派生した意味情報をさらに洗練するために、CapKPはGranger因果性の第一原理に従うことによって因果決定を導入する。 実験では,手動プロンプト法を12.51%,学習可能なプロンプト法を1.39%,手動プロンプト法を12.51%,手動プロンプト法を1.39%,それぞれ向上させた。 実験解析により、ベンチマーク手法と比較して、領域一般化におけるCapKPの優位性が証明された。

関連論文リスト

• On the loss of context-awareness in general instruction fine-tuning [101.03941308894191]
  命令応答対における教師付き微調整(SFT)のようなポストトレーニング手法は、事前トレーニング中に学習した既存の能力を損なう可能性がある。 そこで本研究では,ユーザプロンプトに配慮したポストホックアテンション・ステアリングと,コンテキスト依存度指標を用いた条件付きインストラクションの微調整という,インストラクションモデルにおけるコンテキスト認識の損失を軽減する2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Dude: Dual Distribution-Aware Context Prompt Learning For Large Vision-Language Model [27.56988000960972]
  ドメイン共有コンテキストとクラス固有コンテキストの両方の2つのコンテキストに基づいた新しいフレームワークを導入する。 このような二重プロンプト手法は、大規模言語モデルで符号化された暗黙的および明示的な要素を結合することによって、モデルの特徴表現を強化する。 また、構築されたプロンプトと視覚トークンの関係を定量化するために、不均衡最適輸送(UOT)理論を定式化する。
  論文  参考訳（メタデータ） (2024-07-05T13:15:29Z)
• Instructing Prompt-to-Prompt Generation for Zero-Shot Learning [116.33775552866476]
  伝達可能な知識発見のための指導的視覚的プロンプトを蒸留するためのtextbfPrompt-to-textbfPrompt 生成手法 (textbfP2P) を提案する。 P2Pのコアとなるのは、アクセシブル条件付き視覚特徴と、モーダル共有セマンティック概念に関するテキスト命令からセマンティック関連命令をマイニングすることである。
  論文  参考訳（メタデータ） (2024-06-05T07:59:48Z)
• Conditional Prototype Rectification Prompt Learning [32.533844163120875]
  本稿では, 基本事例のバイアスを補正し, 限られたデータを効果的に拡張するための, CPR(Prototype Rectification Prompt Learning)手法を提案する。 CPRは、いくつかのショット分類とベース・ツー・ニューな一般化タスクの両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-15T15:43:52Z)
• DPL: Decoupled Prompt Learning for Vision-Language Models [41.90997623029582]
  本稿では,この問題を緩和するために,学習者の注意を再構築する新しい手法,Decoupled Prompt Learningを提案する。 我々のアプローチは、視覚的・テキスト的モダリティの両方に柔軟であり、マルチモーダル・プロンプト・ラーニングに容易に拡張できる。
  論文  参考訳（メタデータ） (2023-08-19T15:48:38Z)
• LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
  ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
  論文  参考訳（メタデータ） (2022-10-03T17:56:35Z)
• CUP: Curriculum Learning based Prompt Tuning for Implicit Event Argument Extraction [22.746071199667146]
  Implicit Event argument extract (EAE) は、文書に散らばる可能性のある引数を特定することを目的としている。 本稿では,4つの学習段階によって暗黙的EAEを解消する,カリキュラム学習に基づくプロンプトチューニング(CUP)手法を提案する。 さらに,事前学習した言語モデルから関連する知識を引き出すために,プロンプトベースのエンコーダデコーダモデルを統合する。
  論文  参考訳（メタデータ） (2022-05-01T16:03:54Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。