Fugu-MT 論文翻訳(概要): Conceptual Codebook Learning for Vision-Language Models

論文の概要: Conceptual Codebook Learning for Vision-Language Models

arxiv url: http://arxiv.org/abs/2407.02350v2
Date: Fri, 5 Jul 2024 12:45:32 GMT
ステータス: 処理完了
システム内更新日: 2024-07-08 22:15:07.757188
Title: Conceptual Codebook Learning for Vision-Language Models
Title（参考訳）: 視覚言語モデルのための概念的コードブック学習
Authors: Yi Zhang, Ke Yu, Siqi Wu, Zhihai He,
Abstract要約: 視覚言語モデル(VLM)の一般化能力向上のためのCodebook Learning(CoCoLe)を提案する。視覚概念をキーとして,概念的プロンプトを値として,概念的コードブックを学習する。この概念的コードブック学習法は,視覚的・言語的モダリティの高度化を実現することができる。
参考スコア（独自算出の注目度）: 27.68834532978939
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose Conceptual Codebook Learning (CoCoLe), a novel fine-tuning method for vision-language models (VLMs) to address the challenge of improving the generalization capability of VLMs while fine-tuning them on downstream tasks in a few-shot setting. We recognize that visual concepts, such as textures, shapes, and colors are naturally transferable across domains and play a crucial role in generalization tasks. Motivated by this interesting finding, we learn a conceptual codebook consisting of visual concepts as keys and conceptual prompts as values, which serves as a link between the image encoder's outputs and the text encoder's inputs. Specifically, for a given image, we leverage the codebook to identify the most relevant conceptual prompts associated with the class embeddings to perform the classification. Additionally, we incorporate a handcrafted concept cache as a regularization to alleviate the overfitting issues in low-shot scenarios. We observe that this conceptual codebook learning method is able to achieve enhanced alignment between visual and linguistic modalities. Extensive experimental results demonstrate that our CoCoLe method remarkably outperforms the existing state-of-the-art methods across various evaluation settings, including base-to-new generalization, cross-dataset evaluation, and domain generalization tasks. Detailed ablation studies further confirm the efficacy of each component in CoCoLe.
Abstract（参考訳）: 本稿では,視覚言語モデル(VLM)の新しい微調整手法であるConceptual Codebook Learning (CoCoLe)を提案する。我々は、テクスチャ、形状、色といった視覚概念が自然にドメイン間で伝達可能であり、一般化タスクにおいて重要な役割を果たすことを認識している。この興味深い発見に触発されて、視覚概念をキーとして、概念的プロンプトを値として、概念的コードブックを学習し、画像エンコーダの出力とテキストエンコーダの入力とのリンクとして機能する。具体的には、与えられた画像に対して、コードブックを利用して、クラス埋め込みに関連する最も関連性の高い概念的プロンプトを特定し、分類を実行する。さらに、ローショットシナリオにおける過度な問題を軽減するために、手作りのコンセプトキャッシュを正規化として組み込んだ。この概念的コードブック学習法は,視覚的・言語的モダリティの高度化を実現することができる。実験の結果,CoCoLe法は,ベース・ツー・ニューな一般化,クロス・データセット評価,ドメイン一般化タスクなど,さまざまな評価設定において,既存の最先端手法よりも著しく優れていた。詳細なアブレーション研究により、CoCoLeの各成分の有効性がさらに確認された。

関連論文リスト

Improving Concept Alignment in Vision-Language Concept Bottleneck Models [8.60196823664609]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力された画像を高レベルな人間の理解可能な概念空間にマッピングし、これらの概念に基づいてクラス予測を行う。近年のアプローチでは、Large Language Models (LLM) にテキスト概念を生成させ、VLM (Vision Language Models) を使って概念スコアを取得してCBMを訓練することで、CBMの構築を自動化する。本研究では,細粒鳥類種分類や動物分類などの分野において,専門家が定義した概念に対するVLM概念スコアの忠実度について,より精査する。
論文参考訳（メタデータ） (2024-05-03T03:02:00Z)
Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
論文参考訳（メタデータ） (2024-02-29T10:17:27Z)
Concept-Guided Prompt Learning for Generalization in Vision-Language Models [33.361744437967126]
視覚言語モデルのための概念ガイド型プロンプト学習を提案する。 Contrastive Language-Image Pretrainingの知識を活用して、ビジュアルコンセプトキャッシュを作成します。テキスト特徴を洗練させるために,多段階の視覚特徴をテキスト特徴に変換するプロジェクタを開発する。
論文参考訳（メタデータ） (2024-01-15T04:04:47Z)
Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
論文参考訳（メタデータ） (2024-01-09T16:16:16Z)
Language-Informed Visual Concept Learning [22.911347501969857]
我々は概念エンコーダのセットを訓練し、言語インフォームドの概念軸のセットに関連する情報を符号化する。次に、トレーニング済みのVisual Question Answering(VQA)モデルから得られたテキスト埋め込みの集合に埋め込みの概念を固定する。推論時に、新しいテスト画像から様々な軸に沿った概念埋め込みを抽出し、それをリミックスして視覚概念の新規な構成で画像を生成する。
論文参考訳（メタデータ） (2023-12-06T16:24:47Z)
Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models [64.24227572048075]
本稿では,視覚言語モデルのためのKnowledge-Aware Prompt Tuning(KAPT)フレームワークを提案する。我々のアプローチは、人間の知性からインスピレーションを得ており、外部知識は、通常、オブジェクトの新たなカテゴリを認識するために組み込まれています。
論文参考訳（メタデータ） (2023-08-22T04:24:45Z)
Cross-Modal Concept Learning and Inference for Vision-Language Models [31.463771883036607]
既存の微調整法では、クラス固有のテキスト記述は画像全体と一致している。我々は、クロスモデル概念学習と推論(CCLI)と呼ばれる新しい手法を開発した。本手法は,意味テキストの集合を用いて画像から視覚的特徴の集合を自動的に学習する。
論文参考訳（メタデータ） (2023-07-28T10:26:28Z)
ConceptBed: Evaluating Concept Learning Abilities of Text-to-Image Diffusion Models [79.10890337599166]
本研究では,284のユニークな視覚概念と33Kの合成テキストプロンプトからなる大規模データセットであるConceptBedを紹介する。我々は、対象、属性、スタイルのいずれかである視覚概念を評価し、また、構成性の4つの次元(計数、属性、関係、行動)を評価する。私たちの結果は、概念を学ぶことと、既存のアプローチが克服に苦労する構成性を維持することのトレードオフを示しています。
論文参考訳（メタデータ） (2023-06-07T18:00:38Z)
SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
論文参考訳（メタデータ） (2022-11-28T14:58:15Z)
K-LITE: Learning Transferable Visual Models with External Knowledge [242.3887854728843]
K-LITE (Knowledge-augmented Language- Image Training and Evaluation) は、外部知識を活用して伝達可能な視覚システムを構築する戦略である。トレーニングでは、WordNetとWiktionaryの知識で自然言語のエンティティを豊かにする。評価において、自然言語は外部知識で拡張され、学習された視覚概念を参照するために使用される。
論文参考訳（メタデータ） (2022-04-20T04:47:01Z)
Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。