Fugu-MT 論文翻訳(概要): Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation

論文の概要: Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation

arxiv url: http://arxiv.org/abs/2405.13388v1
Date: Wed, 22 May 2024 06:48:43 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 01:04:57.089765
Title: Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation
Title（参考訳）: 低データインスタンスセグメンテーションのための言語ビジョンプロンプトによる教師なし事前学習
Authors: Dingwen Zhang, Hao Li, Diqi He, Nian Liu, Lechao Cheng, Jingdong Wang, Junwei Han,
Abstract要約: 低データ体制における教師なし事前学習のための新しい手法を提案する。最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
参考スコア（独自算出の注目度）: 105.23631749213729
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent times, following the paradigm of DETR (DEtection TRansformer), query-based end-to-end instance segmentation (QEIS) methods have exhibited superior performance compared to CNN-based models, particularly when trained on large-scale datasets. Nevertheless, the effectiveness of these QEIS methods diminishes significantly when confronted with limited training data. This limitation arises from their reliance on substantial data volumes to effectively train the pivotal queries/kernels that are essential for acquiring localization and shape priors. To address this problem, we propose a novel method for unsupervised pre-training in low-data regimes. Inspired by the recently successful prompting technique, we introduce a new method, Unsupervised Pre-training with Language-Vision Prompts (UPLVP), which improves QEIS models' instance segmentation by bringing language-vision prompts to queries/kernels. Our method consists of three parts: (1) Masks Proposal: Utilizes language-vision models to generate pseudo masks based on unlabeled images. (2) Prompt-Kernel Matching: Converts pseudo masks into prompts and injects the best-matched localization and shape features to their corresponding kernels. (3) Kernel Supervision: Formulates supervision for pre-training at the kernel level to ensure robust learning. With the help of our pre-training method, QEIS models can converge faster and perform better than CNN-based models in low-data regimes. Experimental evaluations conducted on MS COCO, Cityscapes, and CTW1500 datasets indicate that the QEIS models' performance can be significantly improved when pre-trained with our method. Code will be available at: https://github.com/lifuguan/UPLVP.
Abstract（参考訳）: 近年、DETR(Detection TRansformer)のパラダイムに従って、クエリベースのエンドツーエンドインスタンスセグメンテーション(QEIS)手法は、特に大規模データセットでトレーニングされた場合、CNNベースのモデルよりも優れたパフォーマンスを示した。しかし,これらのQEIS手法の有効性は,限られたトレーニングデータに直面すると著しく低下する。この制限は、大規模なデータボリュームに依存して、ローカライゼーションと形状の事前取得に不可欠な、重要なクエリ/カーネルを効果的に訓練することから生じる。そこで本研究では,低データ体制下での教師なし事前学習のための新しい手法を提案する。最近成功したプロンプト技術に触発されて,クエリ/カーネルに言語ビジョンプロンプトを導入することで,QEISモデルのインスタンスセグメンテーションを改善する新しい手法であるUnsupervised Pre-training with Language-Vision Prompts (UPLVP)を導入する。提案手法は,(1)マスクの提案:言語ビジョンモデルを用いて,ラベルのない画像に基づいて擬似マスクを生成する。 2) Prompt-Kernel Matching: 擬似マスクをプロンプトに変換し、最も整合したローカライゼーションと形状特徴を対応するカーネルに注入する。 (3)カーネル・スーパービジョン: 堅牢な学習を保証するために、カーネルレベルで事前学習するためのフォーミュラを監督する。我々の事前学習手法の助けを借りて、QEISモデルはより高速に収束し、低データレシエーションにおけるCNNベースのモデルよりも優れた性能を発揮する。 MSCOCO,Cityscapes,CTW1500データセットを用いた実験結果から,本手法の事前学習によりQEISモデルの性能が有意に向上することが示唆された。コードは、https://github.com/lifuguan/UPLVP.comから入手できる。

関連論文リスト

Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
論文参考訳（メタデータ） (2024-07-11T18:01:58Z)
Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
論文参考訳（メタデータ） (2024-02-04T04:42:05Z)
LAMM: Label Alignment for Multi-Modal Prompt Learning [17.478967970736115]
我々は、下流データセットのカテゴリ埋め込みをエンドツーエンドのトレーニングによって調整できる、textbfLAMMという革新的なラベルアライメント手法を提案する。本手法は,既存のマルチモーダル・プロンプト学習モデルの性能を大幅に向上させる。提案手法は,他の素早いチューニング手法と比較して,連続学習の優位性を示す。
論文参考訳（メタデータ） (2023-12-13T15:29:52Z)
DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。 LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
論文参考訳（メタデータ） (2023-10-02T17:52:24Z)
Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文参考訳（メタデータ） (2023-02-02T15:49:03Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
SimVLM: Simple Visual Language Model Pretraining with Weak Supervision [48.98275876458666]
SimVLM(Simple Visual Language Model)という,最小限の事前学習フレームワークを提案する。 SimVLMは、大規模な弱監視を活用することで、トレーニングの複雑さを低減する。様々な識別的および生成的視覚言語ベンチマークにおいて、最先端の新たな結果が得られる。
論文参考訳（メタデータ） (2021-08-24T18:14:00Z)
Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文参考訳（メタデータ） (2020-08-04T10:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。