Fugu-MT 論文翻訳(概要): Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt

論文の概要: Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt

arxiv url: http://arxiv.org/abs/2205.11100v2
Date: Sat, 23 Mar 2024 09:14:19 GMT
ステータス: 処理完了
システム内更新日: 2024-03-28 02:09:26.967971
Title: Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt
Title（参考訳）: 共同起業型知識プロンプトによる視覚言語モデル推論支援
Authors: Jiangmeng Li, Wenyi Mo, Wenwen Qiang, Bing Su, Changwen Zheng, Hui Xiong, Ji-Rong Wen,
Abstract要約: 視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
参考スコア（独自算出の注目度）: 71.77504700496004
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vision-language models are pre-trained by aligning image-text pairs in a common space to deal with open-set visual concepts. To boost the transferability of the pre-trained models, recent works adopt fixed or learnable prompts, i.e., classification weights are synthesized from natural language describing task-relevant categories, to reduce the gap between tasks in the training and test phases. However, how and what prompts can improve inference performance remains unclear. In this paper, we explicitly clarify the importance of including semantic information in prompts, while existing prompting methods generate prompts without exploring the semantic information of textual labels. Manually constructing prompts with rich semantics requires domain expertise and is extremely time-consuming. To cope with this issue, we propose a semantic-aware prompt learning method, namely CPKP, which retrieves an ontological knowledge graph by treating the textual label as a query to extract task-relevant semantic information. CPKP further introduces a double-tier confounder-pruning procedure to refine the derived semantic information. The graph-tier confounders are gradually identified and phased out, inspired by the principle of Granger causality. The feature-tier confounders are demolished by following the maximum entropy principle in information theory. Empirically, the evaluations demonstrate the effectiveness of CPKP, e.g., with two shots, CPKP outperforms the manual-prompt method by 4.64% and the learnable-prompt method by 1.09% on average, and the superiority of CPKP in domain generalization compared to benchmark approaches. Our implementation is available at https://github.com/Mowenyii/CPKP.
Abstract（参考訳）: 視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。事前訓練されたモデルの伝達性を高めるため、近年の研究では、タスク関連カテゴリを記述する自然言語から分類重量を合成して、トレーニングとテストフェーズにおけるタスク間のギャップを減らし、固定または学習可能なプロンプトが採用されている。しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。本稿では,テキストラベルのセマンティック情報を探索することなく,既存のプロンプト手法がプロンプトを生成するのに対して,セマンティック情報をプロンプトに含めることの重要性を明確にする。リッチなセマンティクスで手動でプロンプトを構築するにはドメインの専門知識が必要で、非常に時間がかかる。この問題に対処するために,テキストラベルをクエリとして扱い,タスク関連セマンティック情報を抽出してオントロジ知識グラフを検索する意味認識型プロンプト学習手法CPKPを提案する。 CPKPはさらに、派生したセマンティック情報を洗練するための二重層共同設立手順を導入している。グラフ層の共同創設者は、Granger因果性の原則に着想を得て、徐々に特定され、段階的に退去する。特徴層の共同設立者は、情報理論の最大エントロピー原理に従って取り壊される。実験により、CPKPは2ショットで、CPKPは手動プロンプト法を4.64%、学習可能プロンプト法を1.09%上回った。実装はhttps://github.com/Mowenyii/CPKP.comで公開しています。

関連論文リスト

On the loss of context-awareness in general instruction fine-tuning [101.03941308894191]
命令応答対における教師付き微調整(SFT)のようなポストトレーニング手法は、事前トレーニング中に学習した既存の能力を損なう可能性がある。そこで本研究では,ユーザプロンプトに配慮したポストホックアテンション・ステアリングと,コンテキスト依存度指標を用いた条件付きインストラクションの微調整という,インストラクションモデルにおけるコンテキスト認識の損失を軽減する2つの方法を提案する。
論文参考訳（メタデータ） (2024-11-05T00:16:01Z)
Dude: Dual Distribution-Aware Context Prompt Learning For Large Vision-Language Model [27.56988000960972]
ドメイン共有コンテキストとクラス固有コンテキストの両方の2つのコンテキストに基づいた新しいフレームワークを導入する。このような二重プロンプト手法は、大規模言語モデルで符号化された暗黙的および明示的な要素を結合することによって、モデルの特徴表現を強化する。また、構築されたプロンプトと視覚トークンの関係を定量化するために、不均衡最適輸送(UOT)理論を定式化する。
論文参考訳（メタデータ） (2024-07-05T13:15:29Z)
Instructing Prompt-to-Prompt Generation for Zero-Shot Learning [116.33775552866476]
伝達可能な知識発見のための指導的視覚的プロンプトを蒸留するためのtextbfPrompt-to-textbfPrompt 生成手法 (textbfP2P) を提案する。 P2Pのコアとなるのは、アクセシブル条件付き視覚特徴と、モーダル共有セマンティック概念に関するテキスト命令からセマンティック関連命令をマイニングすることである。
論文参考訳（メタデータ） (2024-06-05T07:59:48Z)
Conditional Prototype Rectification Prompt Learning [32.533844163120875]
本稿では, 基本事例のバイアスを補正し, 限られたデータを効果的に拡張するための, CPR(Prototype Rectification Prompt Learning)手法を提案する。 CPRは、いくつかのショット分類とベース・ツー・ニューな一般化タスクの両方において最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-04-15T15:43:52Z)
DPL: Decoupled Prompt Learning for Vision-Language Models [41.90997623029582]
本稿では,この問題を緩和するために,学習者の注意を再構築する新しい手法,Decoupled Prompt Learningを提案する。我々のアプローチは、視覚的・テキスト的モダリティの両方に柔軟であり、マルチモーダル・プロンプト・ラーニングに容易に拡張できる。
論文参考訳（メタデータ） (2023-08-19T15:48:38Z)
LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文参考訳（メタデータ） (2022-10-03T17:56:35Z)
CUP: Curriculum Learning based Prompt Tuning for Implicit Event Argument Extraction [22.746071199667146]
Implicit Event argument extract (EAE) は、文書に散らばる可能性のある引数を特定することを目的としている。本稿では,4つの学習段階によって暗黙的EAEを解消する,カリキュラム学習に基づくプロンプトチューニング(CUP)手法を提案する。さらに,事前学習した言語モデルから関連する知識を引き出すために,プロンプトベースのエンコーダデコーダモデルを統合する。
論文参考訳（メタデータ） (2022-05-01T16:03:54Z)
Distant finetuning with discourse relations for stance classification [55.131676584455306]
そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
論文参考訳（メタデータ） (2022-04-27T04:24:35Z)
KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
論文参考訳（メタデータ） (2021-04-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。