論文の概要: CAILA: Concept-Aware Intra-Layer Adapters for Compositional Zero-Shot Learning

• arxiv url: http://arxiv.org/abs/2305.16681v2
• Date: Wed, 8 Nov 2023 02:08:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 19:50:23.129392
• Title: CAILA: Concept-Aware Intra-Layer Adapters for Compositional Zero-Shot Learning
• Title（参考訳）: CAILA: 合成ゼロショット学習のための概念認識型層内アダプタ
• Authors: Zhaoheng Zheng, Haidong Zhu and Ram Nevatia
• Abstract要約: 本研究では,既存の概念と新しい属性オブジェクトの組み合わせを認識することを目的とした,合成ゼロショット学習(CZSL)の課題について検討する。 本稿では,CLIPエンコーダ層に,大規模言語モデル間で有効であることが証明されたパラメータ効率向上手法であるアダプタを挿入することを提案する。 さらに,概念意識を付加し,概念固有の「対象」,「属性」,「構成」の特徴を抽出できるようにした。
• 参考スコア（独自算出の注目度）: 14.496173899477283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the problem of Compositional Zero-Shot Learning (CZSL), which is to recognize novel attribute-object combinations with pre-existing concepts. Recent researchers focus on applying large-scale Vision-Language Pre-trained (VLP) models like CLIP with strong generalization ability. However, these methods treat the pre-trained model as a black box and focus on pre- and post-CLIP operations, which do not inherently mine the semantic concept between the layers inside CLIP. We propose to dive deep into the architecture and insert adapters, a parameter-efficient technique proven to be effective among large language models, into each CLIP encoder layer. We further equip adapters with concept awareness so that concept-specific features of "object", "attribute", and "composition" can be extracted. We assess our method on four popular CZSL datasets, MIT-States, C-GQA, UT-Zappos, and VAW-CZSL, which shows state-of-the-art performance compared to existing methods on all of them.
• Abstract（参考訳）: 本稿では,既存の概念と新しい属性オブジェクトの組み合わせを認識することを目的とした,合成ゼロショット学習(CZSL)の問題について検討する。 近年の研究者は、CLIPのような大規模ビジョンランゲージ事前訓練(VLP)モデルの適用に重点を置いている。 しかし、これらの方法は事前訓練されたモデルをブラックボックスとして扱い、クリップ内のレイヤー間の意味概念をマイニングしないプリ・アンド・ポスト・クリップ操作に焦点を当てている。 我々は,各クリップエンコーダ層に対して,大規模言語モデルにおいて有効なパラメータ効率の高い手法である,アーキテクチャを深く掘り下げてアダプタを挿入することを提案する。 さらに,アダプタに概念認識を持たせることで,"object","attribute","composition"の概念固有の特徴を抽出することができる。 提案手法は,MIT-States, C-GQA, UT-Zappos, VAW-CZSLの4つの一般的なCZSLデータセットを用いて評価し, 既存の手法と比較して, 最先端の性能を示す。

関連論文リスト

• ITACLIP: Boosting Training-Free Semantic Segmentation with Image, Text, and Architectural Enhancements [0.6990493129893112]
  ビジョン言語モデルの最近の進歩は、コンピュータビジョンタスクにおける評価パラダイムを再形成している。 これらの基礎モデル、特にCLIPは、オープン語彙コンピュータビジョンタスクの研究を加速してきた。 本研究では,CLIPのセマンティックセグメンテーション性能を,新しいモジュールの導入と修正によって向上させる。 ITACLIPはセグメンテーションベンチマークの最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-11-18T20:31:38Z)
• Audio-Visual Generalized Zero-Shot Learning using Pre-Trained Large Multi-Modal Models [53.48409081555687]
  本研究では,視覚機能のためのCLIP,音声機能のためのCLAPといった,このような大規模な事前学習モデルについて検討する。 本稿では,フィードフォワードニューラルネットワークのみに依存する,シンプルで効果的なモデルを提案する。 本フレームワークは,VGGSound-GZSL,UCF-GZSL,ActivityNet-GZSL上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-09T13:39:37Z)
• CLIP Can Understand Depth [5.6138460823631835]
  我々はCLIPを高密度予測による単眼深度推定の有意な品質に適応させる。 我々のモデルは、これまでの最先端のビジョンのみのモデルに匹敵する印象的な性能を示す。
  論文  参考訳（メタデータ） (2024-02-05T18:09:33Z)
• Concept-Guided Prompt Learning for Generalization in Vision-Language Models [33.361744437967126]
  視覚言語モデルのための概念ガイド型プロンプト学習を提案する。 Contrastive Language-Image Pretrainingの知識を活用して、ビジュアルコンセプトキャッシュを作成します。 テキスト特徴を洗練させるために,多段階の視覚特徴をテキスト特徴に変換するプロジェクタを開発する。
  論文  参考訳（メタデータ） (2024-01-15T04:04:47Z)
• Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
  Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。 本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:18:57Z)
• Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
  本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。 いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
  論文  参考訳（メタデータ） (2023-10-31T10:45:03Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Prompting Language-Informed Distribution for Compositional Zero-Shot Learning [73.49852821602057]
  合成ゼロショット学習(CZSL)タスクは、目に見えない合成視覚概念を認識することを目的としている。 本稿では,タスクに対して言語インフォームド分布(PLID)を指示するモデルを提案する。 MIT-States、UT-Zappos、C-GQAデータセットの実験結果は、PLIDの先行技術よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-05-23T18:00:22Z)
• Global Knowledge Calibration for Fast Open-Vocabulary Segmentation [124.74256749281625]
  本稿では,各学習カテゴリの同義語群を生成するテキスト多様化戦略を提案する。 また,CLIPの汎用的な知識を維持するために,テキスト誘導型知識蒸留法を用いている。 提案手法は, 各種データセットに対して頑健な一般化性能を実現する。
  論文  参考訳（メタデータ） (2023-03-16T09:51:41Z)
• StyLIP: Multi-Scale Style-Conditioned Prompt Learning for CLIP-based Domain Generalization [26.08922351077744]
  StyLIPは、ドメイン間のCLIPの分類性能を高める、ドメインの一般化のための新しいアプローチである。 提案手法は,CLIPの事前学習された視覚エンコーダに埋め込まれた視覚的スタイルとコンテンツ情報を切り離すことを目的とした,ドメインに依存しないプロンプト学習戦略に焦点をあてる。
  論文  参考訳（メタデータ） (2023-02-18T07:36:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。