論文の概要: Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt
- arxiv url: http://arxiv.org/abs/2302.01171v1
- Date: Thu, 2 Feb 2023 15:49:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 13:36:56.400717
- Title: Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt
- Title(参考訳): サイリエンシ・プロンプトによる教師なし事前学習による低データインスタンスセグメンテーションの促進
- Authors: Hao Li, Dingwen Zhang, Nian Liu, Lechao Cheng, Yalun Dai, Chao Zhang,
Xinggang Wang, Junwei Han
- Abstract要約: この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。
実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
- 参考スコア(独自算出の注目度): 103.58323875748427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, inspired by DETR variants, query-based end-to-end instance
segmentation (QEIS) methods have outperformed CNN-based models on large-scale
datasets. Yet they would lose efficacy when only a small amount of training
data is available since it's hard for the crucial queries/kernels to learn
localization and shape priors. To this end, this work offers a novel
unsupervised pre-training solution for low-data regimes. Inspired by the recent
success of the Prompting technique, we introduce a new pre-training method that
boosts QEIS models by giving Saliency Prompt for queries/kernels. Our method
contains three parts: 1) Saliency Masks Proposal is responsible for generating
pseudo masks from unlabeled images based on the saliency mechanism. 2)
Prompt-Kernel Matching transfers pseudo masks into prompts and injects the
corresponding localization and shape priors to the best-matched kernels. 3)
Kernel Supervision is applied to supply supervision at the kernel level for
robust learning. From a practical perspective, our pre-training method helps
QEIS models achieve a similar convergence speed and comparable performance with
CNN-based models in low-data regimes. Experimental results show that our method
significantly boosts several QEIS models on three datasets. Code will be made
available.
- Abstract(参考訳): 近年,クエリベースのエンドツーエンドインスタンスセグメンテーション (QEIS) 手法は,大規模なデータセット上でCNNベースのモデルよりも優れている。
しかし、重要なクエリやカーネルがローカライゼーションや事前の形状を学ぶのが難しいため、少量のトレーニングデータしか利用できない場合、有効性が失われます。
この目的のために、この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のプロンプト手法の成功に触発されて,クエリ/カーネルにサリエンシプロンプトを与えることで,qeisモデルを促進する新しい事前学習手法を提案する。
私たちの方法は3つの部分を含む。
1) サリーエンシーマスクの提案は、サリーエンシー機構に基づいてラベルのない画像から疑似マスクを生成する責任がある。
2) Prompt-Kernel Matchingは擬似マスクをプロンプトに転送し,対応する局所化と形状を最良整合カーネルに注入する。
3) 堅牢な学習のためのカーネルレベルでの監視をカーネル監視に適用する。
実践的な観点から、我々の事前学習手法はQEISモデルとCNNベースモデルとの類似の収束速度と同等の性能を実現するのに役立つ。
実験の結果,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることがわかった。
コードは利用可能になる。
関連論文リスト
- Equi-GSPR: Equivariant SE(3) Graph Network Model for Sparse Point Cloud Registration [2.814748676983944]
局所球面ユークリッド3次元等分散特性をSE(3)メッセージパッシングに基づく伝搬により埋め込んだグラフニューラルネットワークモデルを提案する。
我々のモデルは、主に記述モジュール、同変グラフ層、類似性、最終的な回帰層から構成される。
3DMatchおよびKITTIデータセットで行った実験は、最先端のアプローチと比較して、我々のモデルの魅力的で堅牢な性能を示している。
論文 参考訳(メタデータ) (2024-10-08T06:48:01Z) - Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
低データ体制における教師なし事前学習のための新しい手法を提案する。
最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。
提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
論文 参考訳(メタデータ) (2024-05-22T06:48:43Z) - Robust and Explainable Fine-Grained Visual Classification with Transfer Learning: A Dual-Carriageway Framework [0.799543372823325]
我々は、Dual-Carriageway Framework (DCF) という自動ベストスーツトレーニングソリューション検索フレームワークを提案する。
3つの畳み込みニューラルネットワーク(ResNet18、ResNet34、Inception-v3)を用いてDCFの有効性を検証する。
その結果、既存のデータセットと新しいデータセットでそれぞれ2.13%、1.23%の微調整パスのパフォーマンスが向上した。
論文 参考訳(メタデータ) (2024-05-09T15:41:10Z) - Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳(メタデータ) (2024-03-01T15:14:47Z) - The Trifecta: Three simple techniques for training deeper
Forward-Forward networks [0.0]
本稿では,より深いネットワーク上でのフォワード・フォワードアルゴリズムを大幅に改善する3つの手法のコレクションを提案する。
我々の実験は、我々のモデルが、単純なデータセットのトレーニング速度とテスト精度の両方において、同様に構造化されたバックプロパゲーションベースのモデルと同等であることを示した。
論文 参考訳(メタデータ) (2023-11-29T22:44:32Z) - 2nd Place Scheme on Action Recognition Track of ECCV 2020 VIPriors
Challenges: An Efficient Optical Flow Stream Guided Framework [57.847010327319964]
我々は、小さなデータセットでモデルをスクラッチからトレーニングできるデータ効率フレームワークを提案する。
具体的には、3D中心差分畳み込み演算を導入することで、新しいC3Dニューラルネットワークベースの2ストリームフレームワークを提案する。
提案手法は,大規模データセット上で事前学習したモデルがなくても,有望な結果が得られることを実証した。
論文 参考訳(メタデータ) (2020-08-10T09:50:28Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳(メタデータ) (2020-08-04T10:41:32Z) - Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。
既存のFSCモデルに対する新しいトレーニング手法を提案する。
説明誘導学習はモデル一般化を効果的に改善することを示す。
論文 参考訳(メタデータ) (2020-07-17T07:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。