論文の概要: APPLeNet: Visual Attention Parameterized Prompt Learning for Few-Shot
Remote Sensing Image Generalization using CLIP
- arxiv url: http://arxiv.org/abs/2304.05995v1
- Date: Wed, 12 Apr 2023 17:20:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 14:06:12.727441
- Title: APPLeNet: Visual Attention Parameterized Prompt Learning for Few-Shot
Remote Sensing Image Generalization using CLIP
- Title(参考訳): APPLeNet:CLIPを用いたFew-Shotリモートセンシング画像一般化のための視覚的注意パラメータ化プロンプト学習
- Authors: Mainak Singha, Ankit Jha, Bhupendra Solanki, Shirsha Bose and Biplab
Banerjee
- Abstract要約: 視覚注意条件付きPrompts Learning Network (APPLeNet) と呼ばれる新しい画像条件付きプロンプト学習戦略を提案する。
APPLeNetは、RSシーン分類におけるマルチスケールな特徴学習の重要性を強調し、ドメイン一般化タスクのための視覚スタイルとコンテンツプリミティブを歪めている。
我々の結果は、関連する文献やコードより一貫して優れており、https://github.com/mainaksingha01/APPLeNet.comで利用可能です。
- 参考スコア(独自算出の注目度): 12.73827827842155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, the success of large-scale vision-language models (VLMs)
such as CLIP has led to their increased usage in various computer vision tasks.
These models enable zero-shot inference through carefully crafted instructional
text prompts without task-specific supervision. However, the potential of VLMs
for generalization tasks in remote sensing (RS) has not been fully realized. To
address this research gap, we propose a novel image-conditioned prompt learning
strategy called the Visual Attention Parameterized Prompts Learning Network
(APPLeNet). APPLeNet emphasizes the importance of multi-scale feature learning
in RS scene classification and disentangles visual style and content primitives
for domain generalization tasks. To achieve this, APPLeNet combines visual
content features obtained from different layers of the vision encoder and style
properties obtained from feature statistics of domain-specific batches. An
attention-driven injection module is further introduced to generate visual
tokens from this information. We also introduce an anti-correlation regularizer
to ensure discrimination among the token embeddings, as this visual information
is combined with the textual tokens. To validate APPLeNet, we curated four
available RS benchmarks and introduced experimental protocols and datasets for
three domain generalization tasks. Our results consistently outperform the
relevant literature and code is available at
https://github.com/mainaksingha01/APPLeNet
- Abstract(参考訳): 近年、CLIPのような大規模視覚言語モデル(VLM)の成功により、様々なコンピュータビジョンタスクでの利用が増加している。
これらのモデルは、タスク固有の監督なしに注意深く作られたインストラクショナルテキストプロンプトを通じてゼロショット推論を可能にする。
しかし、リモートセンシング(RS)における一般化タスクのためのVLMの可能性は完全には実現されていない。
この研究ギャップに対処するために,視覚注意パラメータ学習ネットワーク (APPLeNet) と呼ばれる新しい画像条件付きプロンプト学習戦略を提案する。
APPLeNetは、RSシーン分類におけるマルチスケールな特徴学習の重要性を強調し、ドメイン一般化タスクのための視覚スタイルとコンテンツプリミティブを歪めている。
これを実現するためにAPPLeNetは、視覚エンコーダの異なるレイヤから得られる視覚コンテンツ特徴と、ドメイン固有のバッチの特徴統計から得られるスタイル特性を組み合わせる。
この情報から視覚トークンを生成するために、注意駆動注入モジュールも導入された。
また,この視覚情報をテキストトークンと組み合わせることで,トークン埋め込みの識別を確実にするための相関正則化手法も導入する。
APPLeNetを検証するため、4つの利用可能なRSベンチマークをキュレートし、3つの領域一般化タスクのための実験プロトコルとデータセットを導入した。
私たちの結果は、関連する文献とコードを一貫して上回り、https://github.com/mainaksingha01/APPLeNetで利用可能です。
関連論文リスト
- Enhancing Visual Document Understanding with Contrastive Learning in
Large Visual-Language Models [56.76307866160105]
文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。
DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。
提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
論文 参考訳(メタデータ) (2024-02-29T10:17:27Z) - Incorporating Visual Experts to Resolve the Information Loss in
Multimodal Large Language Models [121.83413400686139]
本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。
本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-06T02:02:34Z) - C-SAW: Self-Supervised Prompt Learning for Image Generalization in
Remote Sensing [12.930814370829893]
本稿では,大規模事前学習型視覚言語モデル(VLM)であるCLIPを用いて,光学リモートセンシング画像の解析における領域およびクラス一般化問題に焦点をあてる。
既存のプロンプト学習技術は、ドメイン情報とコンテンツ情報をプロンプトに組み込むことの重要性を見落としている。
本稿では,視覚的特徴の表現性を高めつつ,ドメイン不変の即時学習を保証するソリューションを提案する。
論文 参考訳(メタデータ) (2023-11-27T13:35:20Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - CLIP-Count: Towards Text-Guided Zero-Shot Object Counting [32.07271723717184]
オープン語彙オブジェクトの密度マップをゼロショットで推定する,最初のエンドツーエンドパイプラインであるCLIP-Countを提案する。
テキスト埋め込みを濃密な視覚特徴と整合させるため、我々は、密集した予測のための情報的パッチレベルの視覚表現を学習するために、モデルを誘導するパッチテキストコントラスト損失を導入する。
本手法は,対象物に対する高品質な密度マップを効果的に生成する。
論文 参考訳(メタデータ) (2023-05-12T08:19:39Z) - StyLIP: Multi-Scale Style-Conditioned Prompt Learning for CLIP-based
Domain Generalization [26.08922351077744]
StyLIPは、ドメイン間のCLIPの分類性能を高める、ドメインの一般化のための新しいアプローチである。
提案手法は,CLIPの事前学習された視覚エンコーダに埋め込まれた視覚的スタイルとコンテンツ情報を切り離すことを目的とした,ドメインに依存しないプロンプト学習戦略に焦点をあてる。
論文 参考訳(メタデータ) (2023-02-18T07:36:16Z) - SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for
Few-shot Image Classification [84.05253637260743]
本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。
SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。
13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
論文 参考訳(メタデータ) (2022-11-28T14:58:15Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - Prompt Tuning with Soft Context Sharing for Vision-Language Models [56.628198024857056]
本稿では,複数目的の複数ショットタスクに対して,事前学習した視覚言語モデルを同時に微調整する手法を提案する。
実験では、SoftCPTは、代表的なシングルタスクプロンプトチューニング手法であるCoOpを大きなマージンで上回る。
論文 参考訳(メタデータ) (2022-08-29T10:19:10Z) - Learning Visual Representations with Caption Annotations [19.24013129952071]
本稿では,視覚的表現をイメージ・キャプション・ペア上で学習するプロキシ・タスクを提案する。
ICMLMは視覚的手がかりに頼って字幕中のマスキング語を予測する。
実験の結果,画像キャプションを利用してグローバルな意味情報を視覚表現に注入できることが確認された。
論文 参考訳(メタデータ) (2020-08-04T08:04:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。